|
|
遇到问题，使用内存和cpu超高，只能调整内存使用率来降低cpu负载的问题。9 L- L" h. x7 m. g7 X+ r7 I
0 G& n. }7 D& R
4 c% Y. G3 D: M
$ w1 w' y( Q6 n" U# C9 `$ j1 N
! I# i( p1 G( Z1.max_memory_usage
1 A0 B. h3 `& r- w I/ \+ P$ x运行单个查询时使用的最大内存量。
4 @; b( Z. X! Q$ S默认设置为无限（设置为 0）。
3 H8 C: `9 C6 X1 r9 r* g1 P2 W该设置不考虑可用内存容量或机器上的内存总量。该限制适用于单个服务器中的单个查询。你可以使用SHOW PROCESSLIST查看每个查询的当前内存消耗。此外，每次查询的内存消耗峰值都会被跟踪并写入日志。3 g1 ?- {1 G3 o3 P
某些聚合函数的状态不会受到内存使用情况的监控。# m" a1 O9 r. S4 l& k$ `
对于来自字符串和数组参数的聚合函数min、max、any、anyLast、argMin、argMax的状态，不完全跟踪他们对内存的使用情况。7 \, |4 G2 E+ p0 K5 k; J
内存消耗还受到 max_memory_usage_for_user 和 max_server_memory_usage 参数的限制。
. `3 e; x+ _& |3 U3 d# ~# t. O8 X
) d2 f* ~7 H+ W3 T- H ( a, n% R8 A; [, a
# x& N9 W W9 @8 ^# d' P6 e9 l2 `
2.max_memory_usage_for_user
7 C/ ~9 n# G+ ^8 ?* e7 l* L在单个服务器上运行用户查询时使用的最大内存容量。, g+ V& m2 ]: i; r0 _- [$ }
默认值在Settings.h中定义。默认情况下，该值不受限制（max_memory_usage_for_user = 0）。
8 a }9 d: I% w
8 a h+ P. o4 y& c
( f& y9 e) U* b- |: y& w- n6 _% |0 P. E2 Y- H ^. }$ c0 f
3.max_server_memory_usage
4 @! b4 A1 O1 k8 A! q内存使用总量限制。零表示无限制。2 V n& I# F$ f- V
默认的 max_server_memory_usage 值计算公式为：memory_amount * max_server_memory_usage_to_ram_ratio。
; m. E& @; M- K! {. v' z2 d a2 Z1 i. f$ h% l5 g
5 u6 B0 ^8 r) A# F' \- C- r! W8 }( P/ {1 e9 y$ Y ?6 v; Z' M m) r
4.max_server_memory_usage_to_ram_ratio
6 x |. C$ h2 p; R% J; {与 max_server_memory_usage 相同，但与物理内存成比例。允许降低低内存系统的内存使用率。零表示无限制。- x* Q( e; _* |! Z' f
在内存和交换容量较小的主机上，可能需要将 max_server_memory_usage_to_ram_ratio 设置得大于 1。0 表示可以使用所有可用内存。- N; x# U3 V. D
默认配置：
0 U, P% `: `) s5 r3 P6 U% e9 Z% z3 J, H+ a& x+ M7 ^
, k2 r/ x f7 M- r3 R<max_server_memory_usage_to_ram_ratio>0.9</max_server_memory_usage_to_ram_ratio>: t5 p9 w* r, ~8 x5 Y2 a% V* B/ A
0 N: U5 T% @3 c! l% z7 o
0 B% z, r; s" G( ~* L M" r! L; _5.max_memory_usage_for_all_queries! I& {( d! l3 [; Z
默认值是0，即不限制对内存的使用。
; q( Q, V I" V2 i5 x% q3 \* x
0 g' A a* ~" R4 @) h- |- t, f X V/ c% ]
内存配置的官方建议
5 i7 s1 g+ g L% q1 l T, r) Z5 A8 L/ E& ?/ r! z
' M0 Q) d3 |- a2 G& ^! L) G# T+ @https://clickhouse.com/docs/en/operations/tips
( {4 v- }( }! {& Q对于少量数据（压缩后不超过 ~200 GB），最好使用与数据量相同的内存。对于大数据量和处理交互式（在线）查询时，应使用合理的内存容量（128 GB 或更多），这样热数据子集才能放入页面缓存。即使每台服务器的数据量为 ~50 TB，使用 128 GB 内存也比使用 64 GB 内存能显著提高查询性能。
+ S! ?8 F+ p- x8 A8 E; s, V* g4 M* c: v* O$ a2 i
不要禁用overcommit。* p: E; f" t" h' f& W/ q3 I) m0 p% F
9 x. n8 e+ ?4 O
1 @% D' N$ e7 y4 J7 u9 ]1 D: F$ cat /proc/sys/vm/overcommit_memory 的值应为0或1
2 m- ?+ |$ B' F* H运行& J2 ?& D0 |- g5 a0 l: c
5 [! ?4 S- H |) P; ^! D z
, y3 @4 R, t# ^2 n* N$ echo 0 | sudo tee /proc/sys/vm/overcommit_memory/ K) q6 i2 x# Q
如果系统内存不足 16GB，可能会出现各种内存异常，因为默认设置与内存容量不匹配。建议内存容量为 32GB 或更大。8 m. j; N7 L! F2 @1 G1 N+ I
* ~3 S6 `# @& ^ |
|
发表于 2024-11-18 10:21:32