drbd启动失败后发现losetup块设备失败,image/0 UpToDate/Diskless 问题排查解决过程，完整版

admin

# losetup -a
- Q  s  N( e! i% v+ s; p& P/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
7 F$ v9 K6 i9 w" K# losetup /dev/loop3 /var/lib/qrj/glance_drbd_meta
# l3 Q8 f8 E6 k4 e# losetup -a
7 Z& p9 j1 P+ w% _6 W% h/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
, Z+ ^7 H8 m3 h% Q' `( Y/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
; u' P- h5 e& a" f8 E/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
, R6 G, s: l- ~) V# losetup /dev/loop4
loop4      loop4-bak  
# losetup /dev/loop4
, b, T0 g- G3 @# {0 {% Qloop4      loop4-bak  
# losetup /dev/loop4 /var/lib/qrj/glance_drbd_data
/var/lib/qrj/glance_drbd_data: No such file or directory
# cd /var/lib/
alternatives/                 drbd/                         luci/                         pacemaker/                    rhsm/
5 q$ w4 \- W) o4 P( _+ m" f! vcinder/                       games/                        misc/                         plymouth/                     ricci/
cirros-0.3.1-x86_64-disk.img  glance/                       mysql/                        polkit-1/                     rpm/
cluster/                      glusterd/                     net-snmp/                     postfix/                      rsyslog/
5 n) n8 {& v  f( y* W5 D' l8 |corosync/                     heartbeat/                    nfs/                          puppet/                       samba/
dav/                          iscsi/                        nova/                         qpidd/                        stateless/
* r+ s) K+ h% G: s* ~dbus/                         keystone/                     ntp/                          qrj/                          udev/
dhclient/                     libvirt/                      openstack-dashboard/          quantum/                      up2date/
2 D; I* K" X0 y+ A) p* ^dnsmasq/                      logrotate.status              openvswitch/                  random-seed                   yum/
# cd /var/lib/qrj/
/ t) E  l4 s9 A3 e# ls
% D2 ?8 b5 k; H0 Pglance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
# ls /var/lib/qrj/glance_drbd_data
# G- L$ S7 G  p2 H" h) dls: cannot access /var/lib/qrj/glance_drbd_data: No such file or directory
# tar -zxvf glance_drbd_data.gz
# ls
glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
# ls
7 \4 D% J9 \3 G  _: Eglance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
# ll
4 |3 k) C+ Q6 m0 ptotal 43334008
-rw-r----- 1 root root 16558927812 Jul  2  2019 glance_drbd_data.gz
" z. n+ I3 Z$ Z4 B" a-rw-r----- 1 root root  5120000000 Apr 20  2022 glance_drbd_meta
-rw-r----- 1 root root 21474836480 Dec 22 07:48 mysql_drbd_data
-rw-r----- 1 root root  2560000000 Dec 22 07:44 mysql_drbd_meta
( M  \& O! Y! ]% y# cp glance_drbd_data.gz glance_drbd_data
1 i7 Y8 {3 S. @' I1 I4 S: }0 x

6 I- b" U' x3 J2 j# j* [. y" y# G, d6 f

admin

losetup -a
1 j! G9 I1 m' u$ P7 H. h/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
9 C; }$ I+ I1 C/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)


losetup -d /dev/loop3

losetup -a
6 M; ?' q+ X9 l3 n9 V/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
& u; V% ~! \6 ?# W0 t1 f! ?) b2 N

admin

# ls
glance_drbd_data  glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
# losetup -a
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
3 q3 K, E6 j/ U. m/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
# losetup /dev/loop3 /var/lib/qrj/glance_drbd_meta
# losetup /dev/loop4 /var/lib/qrj/glance_drbd_data
# lsblk
NAME                       MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
9 ?" p" M* y" v1 T3 B& [. \loop3                        7:3    0   4.8G  0 loop
$ L9 D$ |7 l0 p0 r. H( |; L/ J' ^loop4                        7:4    0    50G  0 loop
loop5                        7:5    0   2.4G  0 loop
loop6                        7:6    0    20G  0 loop
) j# J9 n* V: c+ lsda                          8:0    0 278.5G  0 disk
$ }4 Q' x9 N7 |2 \0 ?8 m; e├─sda1                       8:1    0   512M  0 part /boot/efi
├─sda2                       8:2    0   512M  0 part /boot
  Q+ [$ o+ Y- h' n9 A6 Y├─sda3                       8:3    0    32G  0 part [SWAP]
└─sda4                       8:4    0 245.5G  0 part
" [  X0 {  I0 B4 A0 W" p  ├─Root_vg-lv_root (dm-0) 253:0    0 230.4G  0 lvm  /
  ├─Root_vg-lv_home (dm-1) 253:1    0     5G  0 lvm  /home
  └─Root_vg-lv_tmp (dm-2)  253:2    0     5G  0 lvm  /tmp
$ K0 y; I* B" u. R4 O! |drbd1                      147:1    0    50G  1 disk
9 H2 k* {- D! i* wdrbd0                      147:0    0    20G  1 disk
# service drbd restart
2 _4 {+ q9 P! |7 K) X9 \7 sStopping all DRBD resources: .
0 y0 Y/ w( l1 r1 GStarting DRBD resources: [
     create res: image mysql
# [. P* ]6 N5 G. g2 V   prepare disk: image mysql
- g# s7 a' e' ]6 H2 A& l    adjust disk: image mysql
* @2 p5 v  G8 S# r$ p! z     adjust net: image mysql
3 V+ M% R5 b7 d/ H]
.
# service drbd status
drbd driver loaded OK; device status:
version: 8.4.5 (api:1/proto:86-101)
3 U4 u2 N7 h9 j4 I+ A7 uGIT-hash: 1d360bde0e095d495786eaeb2a1ac76888e4db96 build by root@cucloud002, 2015-02-06 20:04:43
m:res    cs          ro                 ds                     p  mounted  fstype
: F" y/ ]$ \1 C/ b# c! b1 ?, L; d6 G0:mysql  Connected   Secondary/Primary  UpToDate/UpToDate      C
...      sync'ed:    1.1%               (7208/7284)M
: G4 R/ P( G, Q6 M4 y1:image  SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C

) w- w& T" [6 U drbd-overview
5 E- w0 t& i1 g1 T 0:mysql/0  Connected  Secondary/Primary UpToDate/UpToDate     
: ^1 a+ z4 \( [  V( O  s6 o5 Q 1:image/0  SyncTarget Secondary/Primary Inconsistent/UpToDate
& _5 g# p- `9 T+ w4 T& ]0 W& F5 w        [>...................] sync'ed:  6.4% (6828/7284)M



ls
glance_drbd_data  glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
- g) \- u* T: H+ C

+ O# x8 \5 t2 s# rm -rf  glance_drbd_data.gz

0 `' a6 t: T( T; v! ]" c+ z
# drbd-overview
7 p# T/ `1 {! t; N 0:mysql/0  Connected  Secondary/Primary UpToDate/UpToDate     
- ~  w6 }/ l/ w( p+ q 1:image/0  SyncTarget Secondary/Primary Inconsistent/UpToDate
        [==>.................] sync'ed: 16.5% (6092/7284)M
9 b+ k( B: c) S: S% {) {
" P) ]4 i- F/ o8 v; e" i
# T% X  e: f- r" {2 C! _! d
# a# J0 n9 h( G# ls
ls        lsattr    lsblk     lscgroup  lscpu     lshal     lsinitrd  lslogins  lsmod     lsof      lspci     lss3      lssubsys  

6 P0 g( q! @, u) w
# losetup -a
6 i# A1 F& n! g, A1 |! O/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
9 u1 _" X+ Y% H6 m$ a, M/dev/loop4: [fd00]:8922610 (/var/lib/qrj/glance_drbd_data)
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
; x/ h8 s8 q# w" `4 T6 r$ b8 U  c/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
- N+ w8 ^( v5 G5 R

# lsblk
. M- ^3 S  M2 \" d: j, s  ]6 `NAME                       MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop3                        7:3    0   4.8G  0 loop
( C5 a0 O, g2 B- qloop4                        7:4    0    50G  0 loop
loop5                        7:5    0   2.4G  0 loop
loop6                        7:6    0    20G  0 loop
sda                          8:0    0 278.5G  0 disk
├─sda1                       8:1    0   512M  0 part /boot/efi
6 X% g; ?$ j; D2 A, N& u├─sda2                       8:2    0   512M  0 part /boot
% e6 L1 Q; F, P4 Q" P  _├─sda3                       8:3    0    32G  0 part [SWAP]
└─sda4                       8:4    0 245.5G  0 part
  ├─Root_vg-lv_root (dm-0) 253:0    0 230.4G  0 lvm  /
  ├─Root_vg-lv_home (dm-1) 253:1    0     5G  0 lvm  /home
, o) Y( p+ `+ X  └─Root_vg-lv_tmp (dm-2)  253:2    0     5G  0 lvm  /tmp
: R* o4 m. V% z8 s$ p% d- y; Xdrbd1                      147:1    0    50G  1 disk
drbd0                      147:0    0    20G  1 disk