Linux内存中的Cache真的能被回收么？

admin

1. 首先，弄清楚dentry_cache的概念及作用：目录项高速缓存，是Linux为了提高目录项对象的处理效率而设计的；它记录了目录项到inode的映射关系。因此，当应用程序发起stat系统调用时，就会创建对应的dentry_cache项（更进一步，如果每次stat的文件都是不存在的文件，那么总是会有大量新的dentry_cache项被创建）。
+ |8 }' {, b$ q( |( H
2. 当前服务器是storm集群的节点，首先想到了storm相关的工作进程，strace一下storm的worker进程发现其中有非常频繁的stat系统调用发生，而且stat的文件总是新的文件名：

8 |3 T% J' Z% r+ c+ csudo strace -fp <pid> -e trace=stat
3 ^7 M0 {/ p) F3. 进一步观察到storm的worker进程会在本地目录下频繁的创建、打开、关闭、删除心跳文件，每秒钟一个新的文件名：
7 U) r, Q3 K1 M3 @, F" n
  i! O/ B/ b" O- Z, w6 o6 a4 ssudo strace -fp <pid> -e trace=open,stat,close,unlink
以上就是系统中为何有如此多的dentry_cache的原因所在。

一个奇怪的现象
通过观察/proc/meminfo发现，slab内存分为两部分：
$ W3 |7 ~' p$ Y
SReclaimable // 可回收的slab
" O3 k2 t! q0 j8 C$ v% v) q+ ]/ V' d: eSUnreclaim // 不可回收的slab
  K4 E+ M! R; _' t当时服务器的现状是：slab部分占用的内存，大部分显示的都是SReclaimable，也就是说可以被回收的。

  s6 u8 l9 k! F3 d/ m, P7 Q' g) [但是通过slabtop观察到slab内存中最主要的部分（dentry_cache）的OBJS几乎都是ACTIVE的，显示100%处于被使用状态。

5 I0 P& Z1 \3 O# P  OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME                  
4 |5 _9 f( v8 m) m- f) z, q13926348 13926348 100%    0.21K 773686       18   3494744K dentry_cache
334040 262056  78%    0.09K   8351       40     33404K buffer_head
% \( }2 o6 J/ S6 i/ u3 t, C7 R151040 150537  99%    0.74K  30208        5    120832K ext3_inode_cache
为什么显示可回收的，但是又处于ACTIVE状态呢？求Linux内核达人看到后热心解释下：（
. F- v. e1 D: }/ J1 |
会不会由于是ACTIVE状态，导致dcache没有被自动回收释放掉呢？
, n. E* r2 P" I" @5 ~) l$ _
让系统自动回收dcache
上一小节，我们已经提到，服务器上大部分的slab内存是SReclaimable可回收状态的，那么，我们能不能交给操作系统让他在某个时机自动触发回收操作呢？答案是肯定的。

" l$ C: j- h8 y  `) a8 C查了一些关于Linux dcache的相关资料，发现操作系统会在到了内存临界阈值后，触发kswapd内核进程工作才进行释放，这个阈值的计算方法如下：

/ ~3 Z. ^; s6 A+ t1. 首先，grep low /proc/zoneinfo，得到如下结果：

        low      1
        low      380
        low      12067
) R1 u& ~2 q$ |4 Y- M7 f6 V2. 将以上3列加起来，乘以4KB，就是这个阈值，通过这个方法计算后发现当前服务器的回收阈值只有48MB，因此很难看到这一现象，实际中可能等不到回收，操作系统就会hang住没响应了。

3. 可以通过以下方法调大这个阈值：将vm.extra_free_kbytes设置为vm.min_free_kbytes和一样大，则/proc/zoneinfo中对应的low阈值就会增大一倍，同时high阈值也会随之增长，以此类推。
# M+ d5 _' {+ T; q
. j, F2 u2 m; d) q2 T$ sudo sysctl -a | grep free_kbytes      
vm.min_free_kbytes = 39847
vm.extra_free_kbytes = 0
( G8 L  M/ r2 O# [3 t' F/ B! v( Q7 e$ b$ sudo sysctl -w vm.extra_free_kbytes=836787  ######1GB
# N' x4 h8 B: ^& [  A9 {+ T 4. 举个例子，当low阈值被设置为1GB的时候，当系统free的内存小于1GB时，观察到kswapd进程开始工作（进程状态从Sleeping变为Running），同时dcache开始被系统回收，直到系统free的内存介于low阈值和high阈值之间，停止回收。

admin

如何运行 free
; i' d8 q7 ^  Z7 y; ~想要运行，只需在控制台输入free 即可。不带选项运行会显示一个以KB为单位的默认输出。

$ free
free默认视图

从上面的截图我们看到：

+ |5 g( n9 K7 r2 ?! b内存 (以KB计)
6 f" @: {# w, jTotal（全部） : 1026740
Used（已用） : 843396
Free（可用） : 183344
% Y1 z: p# b1 z" i" M2 ?$ RShared（共享） : 0
Buffers（块设备缓存区） : 52704
; `, k3 x* W- V, M! F; }6 ]Cached（文件缓存） : 376384
$ N5 L8 K+ ?0 a0 b译注：关于Buffers和Cached的区别，来自 http://www.taobaotesting.com/blogs/qa?bid=2265 的一段解释如下：

% w1 s  Z; L; h! h3 ybuffers是指用来给块设备做的缓冲大小，他只记录文件系统的metadata以及 tracking in-flight pages.

cached是用来给文件做缓冲。

3 b1 Y. {1 g8 A; Z3 y6 d那就是说：buffers是用来存储，目录里面有什么内容，权限等等。而cached直接用来记忆我们打开的文件

" l7 V4 O( o4 F1 ^$ M3 bSwap (以KB计)
Total（全部） : 1045500
Used（已用） : 3376
4 f% M) _9 a" Y; U0 B8 T) KFree（可用） : 1042124
当你看见 buffer/cache 的空闲空间低或者 swap 的空闲空间低，说明内存需要升级了。这意味这内存利用率很高。请注意 shared（共享）内存列应该被忽略 ，因为它已经被废弃了。

5 ^3 V8 x7 h! Y: V' @4 G以其它单元显示内存信息
" `+ h& s- r# Y9 V) ?: Z如我们先前提到的，默认 free 会以 KB 为单位显示信息。free 同样提供给我们 b (B), -k (KB), -m (MB), -g (GB) and –tera (TB)这些单位。要显示我们想要的单位，只要选择一个并在 free 后面跟上。下面一个是以 MB 为单位的输出样例。
8 ^! p8 n# F! V! u5 W( O
$ free -m
9 U' I: d6 l( Q% ^free命令以MB为单位

* t* J" Z/ H% t" l2 R9 t这个技巧同样适用于-b, -k, -g 以及 –tera 选项。

. z- h! F, Z% r% M! r: w以适于人类可读方式显示内存信息
free 同样提供了-h选项，这意味着适于人类可读(译注:系统上可能并不存在-h选项，已被-m取代)。那么这与其它的选项有什么不同呢，如-m(MB)选项？ 可见的最大不同是-h选项会在数字后面加上适于人类可读的单位。让我们看一个例子。

% q" G. ^/ q, W5 P- a) g: b$ free -h
人类可读的free

如我们一起看到的，在1,0数字后这里是G(GB)字母。当数字并没有达到GB时，free足够聪明来知道并在每个数字后面跟上合适的单位。后面的M - 数字929告诉我们它有929MB(译注: 原文为929 number tell us its 969 Megabytes，这里应该为输入错误)。

7 F2 D' ?# x" m9 \! ?2 Y+ a( X间隔显示 free
) _9 w  f: I- U2 C4 x( H& l: n作为一个状态检查工具，最好的统计内存利用率的方法是使用延迟间隔。这么做的话，我们可以使用-s选项后面跟上我们想要间隔的N秒数。我们可以在后面合并几个选项来使输出满足我们的需求。假如我们想要每3秒统计一次内存利用率并且适于人类可读，那么就像这样做:
" C% ~+ l/ Y& v" _
  Y, N/ I8 J/ B1 X1 _) p& J" \7 a$ free -hs 3
* I! a0 [1 z: j7 I3 N) Y3 R' o间隔3s显示free

& B- I2 C" i4 W8 |9 p1 ?% i9 O9 x显示高低内存利用率
如果我们想要知道高低内存统计，我们可以使用-l选项。下面是一个例子。

$ free -l
4 A3 x. v  h. [5 ?9 x; e* b" nFree 的 低-高 统计

7 i. @4 {4 i) F( ]3 e! u显示 Linux 全部内存
* x2 Y4 Y4 G8 N  n4 T; u如果我们需要每列的总计信息，我们可以在 free 命令后面跟上 -t 选项。这会在字底部额外加入一行显示。
% t( p$ p7 A! Y, S( x7 R9 X
% M$ V! Z$ i( ^* H0 Q% u, a; k6 p$ free -t
free命令带总计内存

" N5 B# z3 j2 j0 |$ z* f总结
( s2 m$ K+ w% B除了vmstat以外，free 命令也是一个用于统计内存利用率的简单统计工具。用这个你可以快速查看你的 Linux 内存信息。free 命令使用 /proc/meminfo 作为基准来显示内存利用率信息。如往常一样，你可以在控制台下输入 man free 来获取更多关于 free 的信息。
; N1 W; g" O2 v' o
$ r! f4 Y+ j% |4 `  w6 V
; H5 o- Y! {) t* _) ^  S
: O8 W5 d& n. O6 f3 _5 G: K5 D
7 j8 y* B1 x: j) ^. F$ f+ p

3 x, v2 }* p2 R. l
前段时间有个项目的用C写的，性能测试时发现内存泄露问题。关于怎么观察内存使用问题，free是很好用的一个命令。

# N  i" T; o6 }7 ^) \bash-3.00$ free

' r# Q6 N( u# ltotal       used       free     shared    buffers     cached

Mem:       1572988    1509260      63728          0      62800     277888
/ ?4 H; [# b  m: U8 c" e4 n& s
) z* j  d+ ^/ a0 Q3 ?" y8 {-/+ buffers/cache:    1168572     404416

* q* v8 x7 Y! B* @, A4 zSwap:      2096472      16628    2079844

) C* i' C0 y& T# I; N
4 b1 N+ P' x) V1 y) V
8 ^; c) M' Z, [8 ?" v& pMem：表示物理内存统计
( D2 G! z/ Y$ j" k% |) ^3 p
; I  I2 Q" N3 ^8 a8 s-/+ buffers/cached：表示物理内存的缓存统计
4 G8 `  k6 J& S
$ s% }+ C- X* Q3 hSwap：表示硬盘上交换分区的使用情况，这里我们不去关心。

系统的总物理内存：255268Kb（256M），但系统当前真正可用的内存b并不是第一行free 标记的 16936Kb，它仅代表未被分配的内存。

+ l4 s% C4 v1 N6 F3 R7 k% o. I第1行 Mem： total：表示物理内存总量。
% Z0 `0 m1 q3 B3 _0 N( p# F
used：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。

0 }" D9 R0 Z3 g' x( }" Dfree：未被分配的内存。
# k! V; I# U. d: y& x, B1 f/ R  B
shared：共享内存，一般系统不会用到，这里也不讨论。
1 J4 w3 B8 S: ~: R2 p2 b
buffers：系统分配但未被使用的buffers 数量。
4 R5 J' v% r% h0 f7 j3 o  N3 i$ K
( @3 N* N+ E8 q7 P7 m. p+ Wcached：系统分配但未被使用的cache 数量。buffer 与cache 的区别见后面。 total = used + free 第2行 -/+ buffers/cached： used：也就是第一行中的used - buffers-cached 也是实际使用的内存总量。

1 j% V$ x( _5 t) I; c0 A! Kfree：未被使用的buffers 与cache 和未被分配的内存之和，这就是系统当前实际可用内存。 free 2= buffers1 + cached1 + free1 //free2为第二行、buffers1等为第一行

buffer 与cache 的区别

A buffer is something that has yet to be “written” to disk. A cache is something that has been “read” from the disk and stored for later use 第3行： 第三行所指的是从应用程序角度来看，对于应用程序来说，buffers/cached 是等于可用的，因为buffer/cached是为了提高文件读取的性能，当应用程序需在用到内存的时候，buffer/cached会很快地被回收。
& B5 Z3 E; B* @0 k8 I" p
所以从应用程序的角度来说，可用内存=系统free memory+buffers+cached.
6 D1 U* D1 f9 b
接下来解释什么时候内存会被交换，以及按什么方交换。

当可用内存少于额定值的时候，就会开会进行交换.

& h, j7 q2 G- ~, h* T如何看额定值（RHEL4.0）：

#cat /proc/meminfo
. ~4 s3 D' e# Y1 v9 M. v. E
交换将通过三个途径来减少系统中使用的物理页面的个数：
$ E8 }4 r( J, R9 x" U6 a, o
6 x- i& H0 d9 d; J4 X- L. U7 M* k1.减少缓冲与页面cache的大小，

4 Z9 j3 n) B( Q8 \% w# H2.将系统V类型的内存页面交换出去，
4 T$ G$ S: N! I! V# n
, h% E* K2 b2 P1 f" Y3.换出或者丢弃页面。(Application 占用的内存页，也就是物理内存不足）。
8 M) k7 G$ W& T, p) N* U. _
事实上，少量地使用swap是不是影响到系统性能的。

0 f' S9 s, x* v& `下面是buffers与cached的区别。
) D; i1 S6 h( K2 D2 f
  `& M& e# H! |! K( E5 e& a# kbuffers是指用来给块设备做的缓冲大小，他只记录文件系统的metadata以及 tracking in-flight pages.

cached是用来给文件做缓冲。
" [9 u  |( l* G6 l  x# |
那就是说：buffers是用来存储，目录里面有什么内容，权限等等。

而cached直接用来记忆我们打开的文件，如果你想知道他是不是真的生效，你可以试一下，先后执行两次命令#man X ,你就可以明显的感觉到第二次的开打的速度快很多。
9 O1 b' I- S8 h" d
9 ?& \2 Q$ S1 R! b6 L' t实验：在一台没有什么应用的机器上做会看得比较明显。记得实验只能做一次，如果想多做请换一个文件名。
4 y( K4 F) ?3 I8 _
! w6 A2 P% o9 }9 D% r1 Q: K#free

) a! c8 l: s7 Q1 `/ \4 J+ f6 k7 l#man X
0 Z! O/ B/ U" h
#free
6 o8 T" j" }! m& I# s
! L: R$ ?$ f; x  A0 O#man X

#free

你可以先后比较一下free后显示buffers的大小。
% [# C" T4 W" r8 B5 H/ G* F: W
另一个实验：
9 @. L, q) e7 y5 `# w
/ J- }1 q$ x! I/ I" P#free
4 k& P- Q( t% P$ F3 G: v
#ls /dev
( P) j  R, {* o. z: o) ~/ ~+ b
& X. l& w+ l4 A, m; G: P, X#free
0 y* J, r) L$ R: W+ s5 C. S! }
9 {! b4 C, ?/ z/ N你比较一下两个的大小，当然这个buffers随时都在增加，但你有ls过的话，增加的速度会变得快，这个就是buffers/chached的区别。

因为Linux将你暂时不使用的内存作为文件和数据缓存，以提高系统性能，当你需要这些内存时，系统会自动释放（不像windows那样，即使你有很多空闲内存,他也要访问一下磁盘中的pagefiles）
5 w- R8 s& N( h9 S
使用free命令

1 v  A! M# p( s0 ~7 S/ D7 @将used的值减去   buffer和cache的值就是你当前真实内存使用 ————– 对操作系统来讲是Mem的参数.buffers/cached 都是属于被使用,所以它认为free只有16936.
, }' S, _3 F- K% o: E
对应用程序来讲是(-/+ buffers/cach).buffers/cached 是等同可用的，因为buffer/cached是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。 所以,以应用来看看,以(-/+ buffers/cache)的free和used为主.所以我们看这个就好了.另外告诉大家 一些常识.Linux为了提高磁盘和内存存取效率, Linux做了很多精心的设计, 除了对dentry进行缓存(用于 VFS,加速文件路径名到inode的转换), 还采取了两种主要Cache方式：Buffer Cache和Page Cache。 前者针对磁盘块的读写，后者针对文件inode的读写。这些Cache能有效缩短了 I/O系统调用(比如read,write,getdents)的时间。 记住内存是拿来用的,不是拿来看的.不象windows,无论你的真实物理内存有多少,他都要拿硬盘交换 文件来读.这也就是windows为什么常常提示虚拟空间不足的原因.你们想想,多无聊,在内存还有大部分 的时候,拿出一部分硬盘空间来充当内存.硬盘怎么会快过内存.所以我们看linux,只要不用swap的交换 空间,就不用担心自己的内存太少.如果常常swap用很多,可能你就要考虑加物理内存了.这也是linux看 内存是否够用的标准哦.