ClickHouse内存配置参数调整优化

admin

遇到问题，使用内存和cpu超高，只能调整内存使用率来降低cpu负载的问题。

1 r. D& k2 N1 T" j0 S3 ?

7 G# g$ L: L) S1 F
1.max_memory_usage
运行单个查询时使用的最大内存量。
+ \% `0 L8 ~$ [( _; ^- u* i1 k: B4 y默认设置为无限（设置为 0）。
) h! S4 W0 r' e' m  j0 V, D& _0 n该设置不考虑可用内存容量或机器上的内存总量。该限制适用于单个服务器中的单个查询。你可以使用SHOW PROCESSLIST查看每个查询的当前内存消耗。此外，每次查询的内存消耗峰值都会被跟踪并写入日志。
+ I8 ?, V0 f& Q2 V9 m3 h某些聚合函数的状态不会受到内存使用情况的监控。
对于来自字符串和数组参数的聚合函数min、max、any、anyLast、argMin、argMax的状态，不完全跟踪他们对内存的使用情况。
( F' Y+ y. I. a& j1 q内存消耗还受到 max_memory_usage_for_user 和 max_server_memory_usage 参数的限制。

8 B' x' y# }6 F; g& p

) C* t) X5 }1 L- }) ]/ K2.max_memory_usage_for_user
& U/ x+ Z( l/ \# D$ i) k5 o  |( o* H在单个服务器上运行用户查询时使用的最大内存容量。
% d% p9 T* X: q: D默认值在Settings.h中定义。默认情况下，该值不受限制（max_memory_usage_for_user = 0）。
8 v/ U/ h% |3 l, e
# y; |; q, f: C5 p% c8 h
& c6 \/ D' a  L" O8 z$ e  K$ F* m
3.max_server_memory_usage
% s* [# u4 r6 i9 p' C  g内存使用总量限制。零表示无限制。
+ S" I, B( W- F0 t( U& K默认的 max_server_memory_usage 值计算公式为：memory_amount * max_server_memory_usage_to_ram_ratio。
/ V; s( M0 i! ?

2 m! q$ P: Q$ r7 I5 H
4.max_server_memory_usage_to_ram_ratio
与 max_server_memory_usage 相同，但与物理内存成比例。允许降低低内存系统的内存使用率。零表示无限制。
在内存和交换容量较小的主机上，可能需要将 max_server_memory_usage_to_ram_ratio 设置得大于 1。0 表示可以使用所有可用内存。
默认配置：


, |& P8 ^' y6 ?! e( h<max_server_memory_usage_to_ram_ratio>0.9</max_server_memory_usage_to_ram_ratio>

  y1 ^$ K) ?$ o. `; G
5.max_memory_usage_for_all_queries
/ f& E4 J- [9 c/ p. r默认值是0，即不限制对内存的使用。

; a( Z  `, a! ?) U8 Y9 P
内存配置的官方建议
: l! Z- A$ D8 l/ K1 M7 ]
: A8 R6 x1 S- k$ L! @& T
0 m# ?% |, b; O: U0 [- G% r5 S: g  [https://clickhouse.com/docs/en/operations/tips
对于少量数据（压缩后不超过 ~200 GB），最好使用与数据量相同的内存。对于大数据量和处理交互式（在线）查询时，应使用合理的内存容量（128 GB 或更多），这样热数据子集才能放入页面缓存。即使每台服务器的数据量为 ~50 TB，使用 128 GB 内存也比使用 64 GB 内存能显著提高查询性能。
; X$ V$ b0 \# _9 E/ v" Z) C
不要禁用overcommit。
9 k- {1 B4 v$ [* B. w4 f

/ D' S/ ]5 F& u* z1 J3 T$ cat /proc/sys/vm/overcommit_memory 的值应为0或1
. T6 A& ^6 T. Y7 S+ `运行


$ echo 0 | sudo tee /proc/sys/vm/overcommit_memory
0 T9 B, G% I. j& O9 }2 i如果系统内存不足 16GB，可能会出现各种内存异常，因为默认设置与内存容量不匹配。建议内存容量为 32GB 或更大。

admin

# vim /etc/clickhouse-server/config.xml
在这个
<yandex>
9 r: ]/ X; Z. _" ^& w; N, C! @; \* B</yandex>
8 d2 G& O& q% j- b- j0 ~& x0 K9 Z标签里配置：

$ n/ S) x9 \& p; Q6 J例如：
<yandex>
" i2 X  G0 C5 F/ X6 v  }& f, L        <!其他配置项 >
6 M' b' u0 Z/ i# P7 n5 y! h    <profiles>
        <default>
' Y6 S! _* u. [1 n" @6 `3 \# k            <max_memory_usage>8G</max_memory_usage>
        </default>
    </profiles>
    <!其他配置项 >
! L; c* [/ h, K</yandex>

admin

默认内存设置

: {' ]+ P* m  A' Q1 L8 ]ClickHouse默认为每个客户端分配8i（即8MB）的内存，而服务器总内存限制则为10g（即10GB），这意味着无论查询复杂性如何，每个客户端连接最多只能使用8MB的内存，而整个ClickHouse服务可用的内存总量被限制在10GB以内，这种设置在大多数情况下可以防止内存溢出，但在某些高负载或大数据分析场景下可能会限制性能。

  }/ n% x7 ~. O+ C' K" y) k修改内存限制

1. 配置文件修改

要修改ClickHouse的服务级别内存限制，首先需要编辑其配置文件，通常这个文件位于/etc/clickhouseserver/config.xml，您可以使用文本编辑器打开此文件：
2 {: @2 y0 l6 r: Q5 z+ T
客户端8i 服务器10g_修改ClickHouse服务级别内存限制
（图片来源网络，侵删）
<yandex>
' f* G* K7 [; G2 M4 R    <!其他配置项 >
    <profiles>
1 ^: W* d. a- D. B- f+ U0 T' ^) }0 |6 ?        <default>
            <max_memory_usage>12G</max_memory_usage>
8 i3 k8 e9 e* V9 J% c        </default>
    </profiles>
' S6 G- _2 S4 h' K! X7 `    <!其他配置项 >
</yandex>
+ v6 ^, j* D$ ?在这个例子中，我们将最大内存使用量从默认的10G修改为12G。

admin

<yandex>
    <!其他配置项 >
' C2 L* y+ s# p  k9 A$ h" {    <profiles>
        <default>
            <max_memory_usage>8G</max_memory_usage>
9 ?7 g5 c+ I. d2 b3 s4 X( K        </default>
* a/ ]& f: D! k& C% m    </profiles>
2 w) _/ l9 Y8 H# R    <!其他配置项 >
</yandex>
! p3 @/ A$ b- T8 H
现在环境配置的