|
|
Timeout receiving bulk data from MASTER if the problem persists try to set the 'repl-timeout'$ W i( E0 J5 T
9 B' ~7 l% r8 ]8 y5 n8 O1 a问题现象：
* d. j5 M! b" E0 S1 o
( U! B& u) J1 j* o3 j) ]+ h! |4 L集群状态 1主 2从，主没有开启bgsave，从开启bgsave。现象所有redis可以访问，进行操作。主不断开始bgsave 1从停止bgsave。, q8 o4 f# I, d) w# o
) n: J- U9 O$ h6 L u' Z( s( V主日志报错# Connection with slave XXXX lost.1 i6 ~' Q) ?. ?( _' Y' L
' h R- v: U8 W3 b4 m
从日志报错# Timeout receiving bulk data from MASTER... If the problem persists try to set the 'repl-timeout' parameter in redis.conf to a larger value.
* U# d+ Q( X) `1 r6 b U5 A W' s; t/ `/ B r. Y+ S
/ b$ u& H; H0 I, a. e0 ~2 o1 U- D# j
* m( y& z) U. Y. ~& Z' i3 E' b
问题总结：
! r6 Z% d$ L0 }' W( \0 D5 i. }& L
repl-backlog-size repl-timeout 这2个参数 每次从和主可以同步的数据大小，如果进行同步的时候超过了这个限制，就到导致如上报错。
- I& M& x6 W& u1 D/ d0 u8 B# D3 G/ u7 g
( Y+ d+ Z% b- t: L$ A* \
/ V; h( W0 S+ M" `) P7 g, B问题现象：6 j0 ^4 j& x0 o3 x& X. W% M
. Y# |5 f8 K8 H4 z重启从服务器，主报错Client id=1317049445 addr=10.10.3.112:7412 fd=39 name= age=394 idle=0 flags=S db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=32768 obl=0 oll=4360 omem=76118609 events=rw cmd=psync scheduled to be closed ASAP for overcoming of output buffer limits.
1 }! [0 a& Q- o& t/ X3 e3 h) z) K; O6 r! g& J( y0 ?
注意到这么一句话：psync scheduled to be closed ASAP for overcoming of output buffer limits。看起来是psync因为超过output buffer limits将被close。- A/ V: X5 Y( q4 P
( o! w/ V* n+ ^8 G- ^# z于是查看了一下client-output-buffer-limit。发现这是Redis的一个保护机制。配置格式是：
1 t9 g7 X; {9 E1 S) R
- T1 k |8 t, o4 F: L3 j# Tclient-output-buffer-limit <class> <hard limit> <soft limit> <soft seconds>
( c |! a- ~1 e& m+ O! L具体参数含义如下：
( Y5 }& ^8 A; {
/ d) X. q* x; y1 U1 x3 g, {class: 客户端种类，包括Normal，Slaves和Pub/Sub
8 e4 F- p; ^4 l) [Normal: 普通的客户端。默认limit 是0，也就是不限制。
4 n; g, B2 J( j5 APub/Sub: 发布与订阅的客户端的。默认hard limit 32M，soft limit 8M/60s。' L: u. y9 D1 P/ D
Slaves: 从库的复制客户端。默认hard limit 256M，soft limit 64M/60s。9 z8 B) T0 e; u& V }
hard limit: 缓冲区大小的硬性限制。
! R+ W3 A9 O; ^. c+ s3 \, Q Gsoft limit: 缓冲去大小的软性限制。' D5 V0 k, D3 v) @; b, x1 _
soft seconds: 缓冲区大小达到了（超过）soft limit值的持续时间。
8 S% S: ~( G" T) R0 R8 j% pclient-output-buffer-limit参数限制分配的缓冲区的大小，防止内存无节制的分配，Redis将会做如下自我保护：+ j4 I! Z+ K6 B, W: x( Z, M
4 X2 u- h G4 X: `" T9 K+ k
client buffer的大小达到了soft limit并持续了soft seconds时间，将立即断开和客户端的连接9 B n( K' ^6 F. e+ q
client buffer的大小达到了hard limit，server也会立即断开和客户端的连接7 Q) H8 ~! y% G& X* Z
再看看我们从库的这个配置，其实就是默认配置：& p1 c3 N) c1 N+ k) K" U
, g3 {, g/ I. C; k X3 j* t# 客户端的输出缓冲区的限制，因为某种原因客户端从服务器读取数据的速度不够快，8 D, H2 f) Z$ _& S: i- M5 G
/ B+ A2 i& x; r
# 可用于强制断开连接（一个常见的原因是一个发布 / 订阅客户端消费消息的速度无法赶上生产它们的速度）。, l9 \4 J+ D, `9 u' {, y# `
9 y9 h% I) P# h3 P( a! w* M
# 可以三种不同客户端的方式进行设置：/ }& |' Z7 P' z' A& f+ h
$ t, i) u R# I6 y) q" ^+ ~# normal -> 正常客户端
4 ]( d9 S$ _" k# y0 c3 l9 l2 H) p# |* C# n
# slave -> slave 和 MONITOR 客户端
3 o, q/ m1 I. k* b0 m9 i
9 l$ J" `7 p M) G5 O- R# pubsub -> 至少订阅了一个 pubsub channel 或 pattern 的客户端
' I. C8 b7 P* {9 w1 a. t$ ]5 l! l8 U! Z
# 每个 client-output-buffer-limit 语法 :
8 A- r& N9 N7 i# b# j0 {% G/ N0 e3 D
# client-output-buffer-limit <class><hard limit> <soft limit> <soft seconds>/ N7 @1 c) `/ i2 }. @% M. |: X
: [4 u k3 K) A0 g; W9 N) V
# 一旦达到硬限制客户端会立即断开，或者达到软限制并保持达成的指定秒数（连续）。& y' E. m5 Z7 i( O+ o8 X
, @) E" J, C, ^4 a' r9 [
# 例如，如果硬限制为 32 兆字节和软限制为 16 兆字节 /10 秒，客户端将会立即断开" O' ?+ e- H) u* X' g
+ A1 L" M6 o5 Z
# 如果输出缓冲区的大小达到 32 兆字节，客户端达到 16 兆字节和连续超过了限制 10 秒，也将断开连接。' K# [) F- X& @; E
; L" E" B& |5 B" R9 h( r" d7 z
# 默认 normal 客户端不做限制，因为他们在一个请求后未要求时（以推的方式）不接收数据，
$ v% ?/ o( p' V
" c w4 S; `- g9 K' U* I# 只有异步客户端可能会出现请求数据的速度比它可以读取的速度快的场景。" f# s; J3 y% h
3 H1 W& g9 ?4 ~4 b# 把硬限制和软限制都设置为 0 来禁用该特性
4 d: r0 q5 ]; v+ o" w6 F$ p8 k6 S) ~5 L3 B* d! t3 d3 J" L
client-output-buffer-limit normal 0 0 0& \ c9 _$ f" \+ N+ g3 O+ c! {0 w, f
9 F8 E- P. y, h$ v& i5 b. zclient-output-buffer-limit slave 256mb 64mb 60' N: ` h- |5 i Y
2 T- G5 t9 y2 z0 F8 V8 ~" P- fclient-output-buffer-limit pubsub 32mb 8mb 60* v/ v }2 e- v f+ D
. w* [4 b2 ^/ {
redis的replication buffer其实就是client buffer的一种。里面存放的数据是下面三个时间内所有的master数据更新操作：
' x: w4 w: X2 Y. @0 k5 _: F; Q6 J
. s9 h) S/ G2 |master执行rdb bgsave产生snapshot的时间* `7 [, B; v& r% ] a) K
master发送rdb到slave网络传输时间
1 }' f g" l/ R( \ Uslave load rdb文件把数据恢复到内存的时间
" ]6 V9 C: J& Q6 x; J可以看到跟replication backlog是一模一样的！, k: _ g, _/ C, ?& E" [' A
: {3 F7 F2 F9 R
replication buffer由client-output-buffer-limit slave设置，当这个值太小会导致主从复制链接断开:
. B( c9 W6 t$ L% x0 }( R9 }* S" o- b
" p' ]$ b1 s3 a! ]: D当master-slave复制连接断开，server端会释放连接相关的数据结构。replication buffer中的数据也就丢失了，此时主从之间重新开始复制过程。+ ~7 q- c- q9 P( ?
还有个更严重的问题，主从复制连接断开，导致主从上出现rdb bgsave和rdb重传操作无限循环。, d7 S8 z" t6 O3 X; v( f
看起来确实server(这里就是master)会因为缓冲区的大小问题主动关闭客户端(slave)链接。因为我们的数据变更量太大，超过了client-output-buffer-limit。导致主从同步连接被断开，然后slave要求psync，但是由于repl-backlog-size太小，导致psync失败，需要full sync，而full sync需要Discarding previously cached master state，重新load RDB文件到内存，而这个加载数据过程是阻塞式的。所以导致slave出现间歇式的不可用。而切换到master之后，master的整个同步操作都是fork一个子进程进行的，所以不影响父进程继续服务。所有的现象都能清清楚楚的解释上。& B$ U8 y' T6 c$ z
9 H% P7 \' f% d7 ^$ B/ Z7 `% W, \
' i2 ?+ B& W; N- v
& _- u) O, y- p7 Z3 P% X- h
更改配置 client-output-buffer-limit client-output-buffer-limit slave 0 0 0 " 重启slave问题解决0 V8 s5 a! i! ~: V1 N
5 }& ]2 y3 o6 c; H8 e& W4 Y0 T5 ?
|
|
发表于 2024-5-29 06:00:01