drbd启动失败后发现losetup块设备失败,image/0 UpToDate/Diskless 问题排查解决过程，完整版

admin

# losetup -a
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
- C) U3 p3 |2 e5 b* K# losetup /dev/loop3 /var/lib/qrj/glance_drbd_meta
5 U6 T& ^% r% Q5 V" e/ G# losetup -a
/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
0 Y6 G/ k# N: x0 @/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
9 v7 u( `* _$ h9 `& G8 G/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
$ T- U  @# W; M$ Q" a1 S9 |# losetup /dev/loop4
loop4      loop4-bak  
# losetup /dev/loop4
loop4      loop4-bak  
: I& X. p3 R, x# losetup /dev/loop4 /var/lib/qrj/glance_drbd_data
8 K- C5 b+ x8 I: x- T: g: u* G/var/lib/qrj/glance_drbd_data: No such file or directory
# cd /var/lib/
, k- [* Z# C$ }6 S4 t# A$ y9 t2 k5 z7 x0 Ialternatives/                 drbd/                         luci/                         pacemaker/                    rhsm/
cinder/                       games/                        misc/                         plymouth/                     ricci/
cirros-0.3.1-x86_64-disk.img  glance/                       mysql/                        polkit-1/                     rpm/
3 l: E' s# m) C, n! |cluster/                      glusterd/                     net-snmp/                     postfix/                      rsyslog/
0 P" V: |& P' B3 Qcorosync/                     heartbeat/                    nfs/                          puppet/                       samba/
dav/                          iscsi/                        nova/                         qpidd/                        stateless/
dbus/                         keystone/                     ntp/                          qrj/                          udev/
& N$ U! e- i$ jdhclient/                     libvirt/                      openstack-dashboard/          quantum/                      up2date/
3 A/ u' X2 s) o3 L$ X- v* O+ S( Zdnsmasq/                      logrotate.status              openvswitch/                  random-seed                   yum/
* c) U6 n& S( R6 i# cd /var/lib/qrj/
: \2 e7 V- z  s7 ?1 E$ r4 Y# ls
& R, v) O3 J! C3 ]: f3 pglance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
4 ^9 e4 l4 J7 z/ d2 a# ls /var/lib/qrj/glance_drbd_data
ls: cannot access /var/lib/qrj/glance_drbd_data: No such file or directory
# tar -zxvf glance_drbd_data.gz
2 F3 i8 H2 k9 O$ K& Y# ls
& `$ ?- \' n# \0 U. xglance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
& G! V5 F+ W' U# ls
glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
0 k. V! I: R7 h# ll
* U1 \6 T; r  W( O( rtotal 43334008
" i0 L2 m; p' c& m: ^( g3 X) D2 q-rw-r----- 1 root root 16558927812 Jul  2  2019 glance_drbd_data.gz
-rw-r----- 1 root root  5120000000 Apr 20  2022 glance_drbd_meta
-rw-r----- 1 root root 21474836480 Dec 22 07:48 mysql_drbd_data
-rw-r----- 1 root root  2560000000 Dec 22 07:44 mysql_drbd_meta
# cp glance_drbd_data.gz glance_drbd_data
' i  i5 l  H. b. G

admin

losetup -a
/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
0 V" a& I% x& i; H" t+ p- {' V/ r7 Q* B/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
# I1 c/ @  i1 H
) T  R$ H' z' K2 E4 {
losetup -d /dev/loop3
* ]3 O5 a: \# y4 n$ x* w& C
losetup -a
% b  X  J* f6 e6 j: Q1 C' A/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
9 m1 v& [- G8 `6 |' ]) t% B' W; U/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)

admin

# ls
1 m- _4 o7 p8 e# d# q' V- a! f1 lglance_drbd_data  glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
# losetup -a
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
1 }/ G; I5 x/ W$ M/ i! z# losetup /dev/loop3 /var/lib/qrj/glance_drbd_meta
" K- I: G0 J  D$ C* m' U7 d6 c0 |# losetup /dev/loop4 /var/lib/qrj/glance_drbd_data
# lsblk
NAME                       MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop3                        7:3    0   4.8G  0 loop
loop4                        7:4    0    50G  0 loop
loop5                        7:5    0   2.4G  0 loop
% j8 i5 n; B6 v7 u/ v, W; {loop6                        7:6    0    20G  0 loop
sda                          8:0    0 278.5G  0 disk
├─sda1                       8:1    0   512M  0 part /boot/efi
) U( N/ A3 u* Z. T! i6 h├─sda2                       8:2    0   512M  0 part /boot
2 F$ L' X% f5 F! {& Q9 ]2 P  O( d3 G- s├─sda3                       8:3    0    32G  0 part [SWAP]
└─sda4                       8:4    0 245.5G  0 part
; C) T% \$ }' L! l  ├─Root_vg-lv_root (dm-0) 253:0    0 230.4G  0 lvm  /
  ├─Root_vg-lv_home (dm-1) 253:1    0     5G  0 lvm  /home
8 C" j0 s8 \8 @) {7 T  └─Root_vg-lv_tmp (dm-2)  253:2    0     5G  0 lvm  /tmp
drbd1                      147:1    0    50G  1 disk
* n, X, [6 z; e( }6 Vdrbd0                      147:0    0    20G  1 disk
4 E5 e0 k+ k2 k3 a1 _5 Z# service drbd restart
9 z0 I( c- l" s6 ?' P0 {9 y/ a' mStopping all DRBD resources: .
0 [4 J! |5 {0 l' O# j0 y8 TStarting DRBD resources: [
# n! t: g* g6 C  Y! A     create res: image mysql
   prepare disk: image mysql
    adjust disk: image mysql
* j% u3 g, N, U0 h# z     adjust net: image mysql
]
.
# service drbd status
drbd driver loaded OK; device status:
/ D6 O# R- V. E6 O4 f% Y! cversion: 8.4.5 (api:1/proto:86-101)
GIT-hash: 1d360bde0e095d495786eaeb2a1ac76888e4db96 build by root@cucloud002, 2015-02-06 20:04:43
m:res    cs          ro                 ds                     p  mounted  fstype
# C( H3 J* s, s% U2 [0:mysql  Connected   Secondary/Primary  UpToDate/UpToDate      C
...      sync'ed:    1.1%               (7208/7284)M
1:image  SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C
  n/ b4 M* L# P: O5 J, T  r1 M. S% r  Q
- Z- I- h% V6 ^) V; b* q/ f drbd-overview
% d4 V% |0 h. Z* s+ ~ 0:mysql/0  Connected  Secondary/Primary UpToDate/UpToDate     
: A& B* I4 X5 t. ]6 b/ W 1:image/0  SyncTarget Secondary/Primary Inconsistent/UpToDate
        [>...................] sync'ed:  6.4% (6828/7284)M


$ X0 g3 l% L2 |
0 \& L' }" I* a" q3 L ls
; ~2 Y2 t' R# v- D% m) m# d' Q$ u' ~4 kglance_drbd_data  glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
- {$ z% N- z# D3 p( ^8 C. x& H
- T& A. Y+ F. `
# rm -rf  glance_drbd_data.gz
/ k4 D- F) [" ~8 y4 Y

# drbd-overview
* w4 w/ b+ q6 N* d# k 0:mysql/0  Connected  Secondary/Primary UpToDate/UpToDate     
1:image/0  SyncTarget Secondary/Primary Inconsistent/UpToDate
        [==>.................] sync'ed: 16.5% (6092/7284)M

) b( ~8 G6 S& M& z: j* m$ D
7 e7 t+ _- r$ \) w$ m! u# Z4 w
# ls
; Q( @0 E$ I4 R+ m/ Vls        lsattr    lsblk     lscgroup  lscpu     lshal     lsinitrd  lslogins  lsmod     lsof      lspci     lss3      lssubsys  


# losetup -a
8 c: T6 B: i0 |4 L- R" Y/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
/dev/loop4: [fd00]:8922610 (/var/lib/qrj/glance_drbd_data)
. i1 C2 I3 O4 f9 M4 O; o! s3 [/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)


- j3 R9 U2 y" m* h( @$ j% w# lsblk
  n$ Y" z3 t3 eNAME                       MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
0 i2 N' _& q& Q: c* ^loop3                        7:3    0   4.8G  0 loop
. K. o* o0 d9 Z1 Sloop4                        7:4    0    50G  0 loop
loop5                        7:5    0   2.4G  0 loop
loop6                        7:6    0    20G  0 loop
sda                          8:0    0 278.5G  0 disk
├─sda1                       8:1    0   512M  0 part /boot/efi
├─sda2                       8:2    0   512M  0 part /boot
3 u; D  a; P- [1 F, K1 r├─sda3                       8:3    0    32G  0 part [SWAP]
└─sda4                       8:4    0 245.5G  0 part
6 W) @& r) Q- M! T# M3 S  ├─Root_vg-lv_root (dm-0) 253:0    0 230.4G  0 lvm  /
. s8 y, G% B4 }6 U" X9 w+ o  ├─Root_vg-lv_home (dm-1) 253:1    0     5G  0 lvm  /home
* i+ i+ T- @4 r8 ^, @/ x  └─Root_vg-lv_tmp (dm-2)  253:2    0     5G  0 lvm  /tmp
' S/ z, ^/ c& \, a* I: L, rdrbd1                      147:1    0    50G  1 disk
drbd0                      147:0    0    20G  1 disk


. R) D) B, ^$ U, f