drbd启动失败后发现losetup块设备失败,image/0 UpToDate/Diskless 问题排查解决过程，完整版

admin

# losetup -a
; i; F5 d, Y, R5 ~. l  d8 v6 u* f/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
# losetup /dev/loop3 /var/lib/qrj/glance_drbd_meta
- v! o( b% R, |0 w! P# losetup -a
# H! r/ o0 ?; \; z* P: k8 Z9 O% }' O8 }/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
1 ]0 _# \& X. X1 r! m: A2 L1 v/ f/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
" ^6 R" Y; G2 m8 ~0 @3 M# losetup /dev/loop4
loop4      loop4-bak  
* z* B6 H0 o4 l# losetup /dev/loop4
loop4      loop4-bak  
# losetup /dev/loop4 /var/lib/qrj/glance_drbd_data
/var/lib/qrj/glance_drbd_data: No such file or directory
& c  w$ o4 ~) e: V# cd /var/lib/
alternatives/                 drbd/                         luci/                         pacemaker/                    rhsm/
cinder/                       games/                        misc/                         plymouth/                     ricci/
cirros-0.3.1-x86_64-disk.img  glance/                       mysql/                        polkit-1/                     rpm/
cluster/                      glusterd/                     net-snmp/                     postfix/                      rsyslog/
: ^, [2 {3 Y$ S- K  o! ecorosync/                     heartbeat/                    nfs/                          puppet/                       samba/
dav/                          iscsi/                        nova/                         qpidd/                        stateless/
" T7 `, Y& B3 C& I& Zdbus/                         keystone/                     ntp/                          qrj/                          udev/
0 @: _% g8 M  a: `) J1 fdhclient/                     libvirt/                      openstack-dashboard/          quantum/                      up2date/
dnsmasq/                      logrotate.status              openvswitch/                  random-seed                   yum/
* N2 L9 I9 `& u% s# X6 g9 U# cd /var/lib/qrj/
# ls
) V" `2 d  D- X6 l; e; N7 Yglance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
+ w  K, U. N. N! T# ls /var/lib/qrj/glance_drbd_data
ls: cannot access /var/lib/qrj/glance_drbd_data: No such file or directory
5 H0 }$ \/ Q: e8 U  G# tar -zxvf glance_drbd_data.gz
# ls
glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
( e5 j5 j9 c5 o# S9 V2 e- a# ls
glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
+ r3 `7 G( _: P& i  `# ll
9 r& ?, Z0 z& Q" gtotal 43334008
. f* ?/ A6 U) l0 [3 v7 D7 e-rw-r----- 1 root root 16558927812 Jul  2  2019 glance_drbd_data.gz
-rw-r----- 1 root root  5120000000 Apr 20  2022 glance_drbd_meta
4 F9 A5 }1 U7 b; k-rw-r----- 1 root root 21474836480 Dec 22 07:48 mysql_drbd_data
( _( Z0 \% w# P! u' v4 p-rw-r----- 1 root root  2560000000 Dec 22 07:44 mysql_drbd_meta
# cp glance_drbd_data.gz glance_drbd_data
+ t" f$ |) a# {7 i( z

admin

losetup -a
/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
4 a; V7 Q1 p; n% D/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
- c) Q; _5 [/ ]/ |& @+ t/ V/ y

losetup -d /dev/loop3

  ^' M, R4 ~1 \8 v$ Elosetup -a
" p- w$ b- ]! Z8 i1 G) f0 q, b/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
; E/ J2 O' o: [! X
9 P( r+ x1 p8 V0 x% k

admin

# ls
6 K8 }! Z% \! g# K; Xglance_drbd_data  glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
& ]# e! y% o  P) J+ T9 _% Z# losetup -a
* W% H3 r' s1 k% {9 S/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
7 a3 B1 V9 v/ v/ |' H; f: y, c/ J# losetup /dev/loop3 /var/lib/qrj/glance_drbd_meta
# losetup /dev/loop4 /var/lib/qrj/glance_drbd_data
# lsblk
NAME                       MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop3                        7:3    0   4.8G  0 loop
! b2 r- z2 P) T3 sloop4                        7:4    0    50G  0 loop
loop5                        7:5    0   2.4G  0 loop
loop6                        7:6    0    20G  0 loop
sda                          8:0    0 278.5G  0 disk
0 J6 e8 i3 l+ \7 Z0 V7 N5 v├─sda1                       8:1    0   512M  0 part /boot/efi
  W/ E' A+ H6 A├─sda2                       8:2    0   512M  0 part /boot
4 E, @" l( C' E$ P. b, \4 |6 H├─sda3                       8:3    0    32G  0 part [SWAP]
└─sda4                       8:4    0 245.5G  0 part
" W$ F1 f: S. P) q' q0 L: X6 r' j+ V  ├─Root_vg-lv_root (dm-0) 253:0    0 230.4G  0 lvm  /
  ├─Root_vg-lv_home (dm-1) 253:1    0     5G  0 lvm  /home
0 P( O7 ?5 L* {9 w: Z  └─Root_vg-lv_tmp (dm-2)  253:2    0     5G  0 lvm  /tmp
2 y  y6 V# _1 J, a' Ndrbd1                      147:1    0    50G  1 disk
5 p% F* s4 s4 e- }6 rdrbd0                      147:0    0    20G  1 disk
# service drbd restart
Stopping all DRBD resources: .
1 V. x0 b  S; f( F" @3 ZStarting DRBD resources: [
1 q/ t( h& j: |% S     create res: image mysql
/ C' X  |$ @9 d+ y8 `$ E$ ~0 ^. q) f   prepare disk: image mysql
8 ]7 a0 W& x2 b7 Q    adjust disk: image mysql
% q: r: v3 K3 f, c2 w8 B7 F     adjust net: image mysql
]
7 c4 M5 R$ o) y# N8 t% h" ].
# service drbd status
drbd driver loaded OK; device status:
0 J9 c2 R/ K4 B  V4 F  @7 \version: 8.4.5 (api:1/proto:86-101)
' C$ L5 N4 y4 gGIT-hash: 1d360bde0e095d495786eaeb2a1ac76888e4db96 build by root@cucloud002, 2015-02-06 20:04:43
m:res    cs          ro                 ds                     p  mounted  fstype
0:mysql  Connected   Secondary/Primary  UpToDate/UpToDate      C
...      sync'ed:    1.1%               (7208/7284)M
1:image  SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C

4 c3 E/ w2 y: s, {3 W; o7 W drbd-overview
% j& E' {3 K4 W  { 0:mysql/0  Connected  Secondary/Primary UpToDate/UpToDate     
1:image/0  SyncTarget Secondary/Primary Inconsistent/UpToDate
        [>...................] sync'ed:  6.4% (6828/7284)M
1 \" i' Z4 G7 p
1 ^; R" r5 x2 W

6 J# A% Q6 O$ t/ k ls
glance_drbd_data  glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
7 c, a, b3 c" @  C

# rm -rf  glance_drbd_data.gz


# drbd-overview
0:mysql/0  Connected  Secondary/Primary UpToDate/UpToDate     
1:image/0  SyncTarget Secondary/Primary Inconsistent/UpToDate
1 C1 D  f$ w2 V' n2 N        [==>.................] sync'ed: 16.5% (6092/7284)M
( p; T3 K9 T" ^- Z" k* }* _& u: h


# ls
ls        lsattr    lsblk     lscgroup  lscpu     lshal     lsinitrd  lslogins  lsmod     lsof      lspci     lss3      lssubsys  

1 c6 x8 F  w$ {$ g: j. b! U
& O, a6 M; X+ _$ d# losetup -a
% p6 d1 T% h1 c; e9 M4 ^* ]/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
/dev/loop4: [fd00]:8922610 (/var/lib/qrj/glance_drbd_data)
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
$ C2 l6 R  Q, x, z/ b/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
) g% d7 M- q1 N) Z) Z2 L% q
, O- ~  I* p6 `. ]2 l  [0 P' R  M
# lsblk
8 V% x7 t! N1 h4 g$ k( j1 ]9 VNAME                       MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop3                        7:3    0   4.8G  0 loop
$ Y( b9 d& G8 Nloop4                        7:4    0    50G  0 loop
) Z/ d" X+ ?; Z$ Lloop5                        7:5    0   2.4G  0 loop
  }* N7 C2 _+ D  bloop6                        7:6    0    20G  0 loop
sda                          8:0    0 278.5G  0 disk
; G! H7 [: g! X" D4 }& ?├─sda1                       8:1    0   512M  0 part /boot/efi
├─sda2                       8:2    0   512M  0 part /boot
: V, t3 r3 J& {. F/ r/ m5 n├─sda3                       8:3    0    32G  0 part [SWAP]
1 k1 _4 [$ ^/ U* E3 m; u4 Z6 P└─sda4                       8:4    0 245.5G  0 part
& G+ r3 _! [3 D% }8 K  ├─Root_vg-lv_root (dm-0) 253:0    0 230.4G  0 lvm  /
  ├─Root_vg-lv_home (dm-1) 253:1    0     5G  0 lvm  /home
# |5 s3 c( v3 J+ y) a6 u; K  └─Root_vg-lv_tmp (dm-2)  253:2    0     5G  0 lvm  /tmp
drbd1                      147:1    0    50G  1 disk
drbd0                      147:0    0    20G  1 disk
% R, g4 j* }& r' L: |) g
8 n& b+ J  I7 ?# v0 X$ z6 Y: g0 e