inodes过载问题解决 ：Free inodes is less than 10% on volume /

admin

今天zabbix报警，一台服务器的disk满了，使用du -sh * 或 du -sh /* 查看目录的大小，查找占用空间大的目录/var/spool/clientmqueue….
解决


解决方法：在cron的自动执行语句后加上> /dev/null 2>&1
例：
  M4 O+ \& n5 E% R8 B9 M& X( p8 I* 3 * * * /usr/bin/w > /dev/null 2>&1
这样就OK拉，就不会写到那个目录下了….


恢复的唯一办法就是删除这些文件， 此方法仅仅用于大量的临时文件和缓存占用的inode. 如果数据不可删除， 就要想办法增加空间了。这里只讲怎么找到这些文件和删除它们.


; Y3 A6 ^  h# m' |4 v% f检查inode剩余
df -i
Filesystem                 Inodes IUsed     IFree IUse% Mounted on
devtmpfs                   998158   373    997785    1% /dev
. K3 A* f, U8 g0 a+ n: Ctmpfs                     1001093     1   1001092    1% /dev/shm
% a% W5 Q4 g  }4 ^: ~, E# vtmpfs                     1001093   557   1000536    1% /run
: W' f0 D/ N8 X) Q- ztmpfs                     1001093    16   1001077    1% /sys/fs/cgroup
/dev/mapper/centos-root 286781440 67061 286714379    1% /
6 u0 v$ B/ s: i) z$ _5 j# R' f6 Z/dev/vda1                  524288   350    523938    1% /boot
' x- t/ Q9 h% htmpfs                     1001093     1   1001092    1% /run/user/1002
) `; L: S# z- _* e  z. Qtmpfs                     1001093     1   1001092    1% /run/user/0
7 N  O* `$ {3 @2 H5 Stmpfs                     1001093     1   1001092    1% /var/log/rtlog
1 ]: M# P  Q$ x( R# u  c! A3 U
2 s% Q9 ]# u/ }3 E  ]5 y) R
" N' s5 u% [# {5 u/ c


在这里我的inode用的就很多了。


首先找到这些占用的无用文件
4 m+ }/ q  i  z6 s- g! p. ufor i in /var/* ;do echo $i ;sudo find $i |wc -l ;done
+ U* f. [# L5 E5 D9 a
8 y. S( U) B. G6 z) U1 D+ v
" z: V& k: w2 {! S* ?( {5 f6 K! W/ y1 e

for i in /*; do echo $i; find $i |wc -l; done
) q( K' p$ d$ ]
执行上面的语句后， 会顺序从根目录的子目录循环查询， 如果有一个目录卡了很久， 就说明此目录可能存在很多文件.
( y+ c, f& J# a: O( j* _4 T0 u
* [- X" H- E- n& _
6 m0 `; e& ?1 m! `% T1 Q然后到这个目录下继续查找

3 H& t9 z9 i/ C3 `# b7 N2 R
9 L* Q* V# |9 K, u$ b* A循环这个过程直到找到.


4 u- F$ E2 u( v( V2 d  D! L* E找到后酌情删除，删除后inode就会释放.
9 b2 ^  s2 H. I9 p, ]. L
. R5 l; T4 h0 Y: l: T' X. H
在这里说一点，/var/spool/clientmqueue目录文件太多，rm -rf *时候会提示：
& f+ C+ u' f5 y8 G. q

“-bash: /bin/rm: Argument list too long“.. 意思是参数太长，rm 干不了。


可以用ls | xargs rm -f这个命令将/var/spool/clientmqueue目录下所有文件删除。

) Q& V: o4 h7 r0 ]- L
由于使用云服务器，无法直接删除，特写删除脚本如下：
( b+ {: w. i# L7 U, ?- N& |. Q" X
# t' B4 `! i" n) i) x
#!/bin/bash


0 R1 N) v, p" r! n, M1 o: Rcd /var/spool/clientmqueue

6 G0 h) n" S" V1 [4 s0 T
+ _7 V) U* K( C& p' A5 V; yfilelist=`ls /var/spool/clientmqueue/`
1 z3 ~$ k- X% J! O' ]) I4 u

+ H6 ?" y  u+ T) E& sfor file in $filelist
9 o9 h- O5 j  e# Sdo
+ {3 ]. S6 K  B; P
7 x8 `6 J" w# |! u
: r: g2 S7 V; ^4 u4 `0 z; g7 G  echo $file
  sudo chown ec2-user:ec2-user $file
  sudo rm -rf  $file
( }) O7 X* K1 O# {7 t3 [  #sleep 2;
done
9 ?8 x; r3 Z9 i! Z7 ?8 s& f- W
8 p4 v7 L8 c% q5 R

admin

理解inode，要从文件储存说起。
* ]8 j) N% T, Y2 m5 C, _, C8 C
文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。
* r. N9 W1 {/ \. o- o操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个”块”（block）。这种由多个扇区组成的”块”，是文件存取的最小单位。”块”的大小，最常见的是4KB，即连续八个 sector组成一个 block。
# v6 P  _* Z2 P+ C
" {& x! y3 \! T文件数据都储存在”块”中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为”索引节点”。
! a2 H& h$ K% }  a% M每一个文件都有对应的inode，里面包含了与该文件有关的一些信息。
& u5 E0 F' {: E2 q' v; N: S7 m
6 C5 g$ Z- G  \8 Y& n6 T所以当inode用完也会出现No space left on device， 造成磁盘的不可写入.
8 G- q  ?* u6 T& p