drbd启动失败后发现losetup块设备失败,image/0 UpToDate/Diskless 问题排查解决过程，完整版

admin

# losetup -a
  r5 [1 y: h% Q8 B/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
' b- _+ G2 n% d" D7 F5 z! `3 J# losetup /dev/loop3 /var/lib/qrj/glance_drbd_meta
# losetup -a
' a" w" `6 @% ~! r7 A& T/ z# l/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
4 a9 ]0 E+ Y- e  u/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
# losetup /dev/loop4
& ?, b, p" }  ]& p  ?2 c7 }- Bloop4      loop4-bak  
# losetup /dev/loop4
loop4      loop4-bak  
# losetup /dev/loop4 /var/lib/qrj/glance_drbd_data
/var/lib/qrj/glance_drbd_data: No such file or directory
# cd /var/lib/
alternatives/                 drbd/                         luci/                         pacemaker/                    rhsm/
$ t+ |8 q9 D" t; r4 Ucinder/                       games/                        misc/                         plymouth/                     ricci/
+ r+ @# q4 y0 R* Ccirros-0.3.1-x86_64-disk.img  glance/                       mysql/                        polkit-1/                     rpm/
cluster/                      glusterd/                     net-snmp/                     postfix/                      rsyslog/
corosync/                     heartbeat/                    nfs/                          puppet/                       samba/
2 y1 r0 u3 C1 a  j( g5 j3 Cdav/                          iscsi/                        nova/                         qpidd/                        stateless/
0 N7 p3 A$ N) T/ Ddbus/                         keystone/                     ntp/                          qrj/                          udev/
dhclient/                     libvirt/                      openstack-dashboard/          quantum/                      up2date/
dnsmasq/                      logrotate.status              openvswitch/                  random-seed                   yum/
: M- s* E2 }* g0 Q  e# cd /var/lib/qrj/
# ls
glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
# ls /var/lib/qrj/glance_drbd_data
% F/ l' G3 a0 I# dls: cannot access /var/lib/qrj/glance_drbd_data: No such file or directory
, a7 Q, o4 j+ ]+ k4 V# tar -zxvf glance_drbd_data.gz
# ls
1 O; T9 o+ @3 o! ?3 rglance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
# ls
glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
# ll
% m$ W) B# I5 Y; I; O: f# N  ]+ xtotal 43334008
$ r! Z3 D& U0 `8 q-rw-r----- 1 root root 16558927812 Jul  2  2019 glance_drbd_data.gz
-rw-r----- 1 root root  5120000000 Apr 20  2022 glance_drbd_meta
-rw-r----- 1 root root 21474836480 Dec 22 07:48 mysql_drbd_data
-rw-r----- 1 root root  2560000000 Dec 22 07:44 mysql_drbd_meta
# cp glance_drbd_data.gz glance_drbd_data

. H$ G* B) U: p) ~' e
/ C& t8 g4 b! E' p& O( ~  c

admin

losetup -a
/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
1 s5 q+ K& }* x& @" ?/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
0 Q+ B$ W! e! r# B, E/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
2 p" @% }; G9 Z4 `( l

losetup -d /dev/loop3
( s/ E% f# H& j1 d/ Q0 b" J# n. l
: Z: I# e( V. }% U. E' Y% ilosetup -a
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)

& p2 i0 W, D' m* k! {- J2 M$ M$ ]9 F

admin

# ls
% z( Q; l! Z. v& Z) ]glance_drbd_data  glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
- E  J' r' t5 n0 S# losetup -a
/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/ w+ ^- b1 l" R1 W/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)
# losetup /dev/loop3 /var/lib/qrj/glance_drbd_meta
3 o- X! V; f1 R4 j$ D1 l# losetup /dev/loop4 /var/lib/qrj/glance_drbd_data
2 J, ?+ G+ V. U- f# lsblk
! Q. n$ `* b1 MNAME                       MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop3                        7:3    0   4.8G  0 loop
loop4                        7:4    0    50G  0 loop
loop5                        7:5    0   2.4G  0 loop
7 _$ X4 [0 N! N# W7 z9 g  Tloop6                        7:6    0    20G  0 loop
sda                          8:0    0 278.5G  0 disk
├─sda1                       8:1    0   512M  0 part /boot/efi
├─sda2                       8:2    0   512M  0 part /boot
) ?' i' [+ {/ I$ X* o* J; \9 z. [├─sda3                       8:3    0    32G  0 part [SWAP]
└─sda4                       8:4    0 245.5G  0 part
  ├─Root_vg-lv_root (dm-0) 253:0    0 230.4G  0 lvm  /
  ├─Root_vg-lv_home (dm-1) 253:1    0     5G  0 lvm  /home
9 r" ~1 k, l: c% n0 H& N  └─Root_vg-lv_tmp (dm-2)  253:2    0     5G  0 lvm  /tmp
7 S1 p- U# U  k7 M" P  x0 K$ Zdrbd1                      147:1    0    50G  1 disk
& d+ Y: e/ H; P- F- o) idrbd0                      147:0    0    20G  1 disk
# service drbd restart
Stopping all DRBD resources: .
( i8 [+ P# y. s' e/ I* V! tStarting DRBD resources: [
) L: B. S- ]! U, Y" V     create res: image mysql
' Z* j. E9 {% w6 g) H  r9 m) S) |   prepare disk: image mysql
$ E0 z: s( ?. t5 T    adjust disk: image mysql
     adjust net: image mysql
]
- P, x: N1 F' V  A4 n4 {.
8 I+ [$ r# r; D- F# service drbd status
drbd driver loaded OK; device status:
# x! [& i! Q5 n( d* z$ l2 J- Aversion: 8.4.5 (api:1/proto:86-101)
2 F- ?8 b) G3 \1 zGIT-hash: 1d360bde0e095d495786eaeb2a1ac76888e4db96 build by root@cucloud002, 2015-02-06 20:04:43
4 f% {, a8 j8 |$ c8 N. T* L! {  ?m:res    cs          ro                 ds                     p  mounted  fstype
0:mysql  Connected   Secondary/Primary  UpToDate/UpToDate      C
5 H' Y& ]8 z) h+ y...      sync'ed:    1.1%               (7208/7284)M
% h" B+ b7 U& A; y1:image  SyncTarget  Secondary/Primary  Inconsistent/UpToDate  C
8 O6 F4 v$ E$ h6 |
$ a+ B8 \1 H9 Q4 Y4 y6 U/ y! T+ S drbd-overview
0:mysql/0  Connected  Secondary/Primary UpToDate/UpToDate     
& u* l- O" u, z7 v# S$ y- n: W8 x) `, P 1:image/0  SyncTarget Secondary/Primary Inconsistent/UpToDate
        [>...................] sync'ed:  6.4% (6828/7284)M
2 f  T* u5 {: b% q4 E4 `


$ f& l" T( ^- S! w5 _( m ls
; w+ U. h) a8 F9 ]* ?. _glance_drbd_data  glance_drbd_data.gz  glance_drbd_meta  mysql_drbd_data  mysql_drbd_meta
. E" u* H* t8 ^6 ?7 j
. Y0 I) i* q5 j) E6 Y$ A2 o2 R, `( p
6 p: T& Y5 J2 m* H# rm -rf  glance_drbd_data.gz


6 V, \) S, f) l3 p/ S# drbd-overview
0:mysql/0  Connected  Secondary/Primary UpToDate/UpToDate     
- ~$ i, M/ N- D. e2 v& t 1:image/0  SyncTarget Secondary/Primary Inconsistent/UpToDate
7 T7 C/ C2 z5 p. W# X" r        [==>.................] sync'ed: 16.5% (6092/7284)M


8 A4 }3 O( H1 X  u& `. V- E
3 O( t. Y6 u+ \) z9 w# ls
ls        lsattr    lsblk     lscgroup  lscpu     lshal     lsinitrd  lslogins  lsmod     lsof      lspci     lss3      lssubsys  
5 ]% A6 H+ a' r7 q
# _& p  g- n+ b0 K9 q
# losetup -a
/dev/loop3: [fd00]:8914191 (/var/lib/qrj/glance_drbd_meta)
% e* \% @8 \: y+ K/dev/loop4: [fd00]:8922610 (/var/lib/qrj/glance_drbd_data)
; l0 k. s- d2 n- N8 w- _) u& b/dev/loop5: [fd00]:8914193 (/var/lib/qrj/mysql_drbd_meta)
/dev/loop6: [fd00]:8914192 (/var/lib/qrj/mysql_drbd_data)

* y, A+ K' k" Y- @1 l4 L; }
# lsblk
NAME                       MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
$ j* v; a# D2 v$ V, S& p( gloop3                        7:3    0   4.8G  0 loop
' }# {( |# U1 i8 I: r0 h# oloop4                        7:4    0    50G  0 loop
' ]  a) T) ?: q- E) y+ S6 mloop5                        7:5    0   2.4G  0 loop
% t& a/ }4 {9 {6 j* \  Qloop6                        7:6    0    20G  0 loop
sda                          8:0    0 278.5G  0 disk
( P, k$ T2 A1 Y0 Q. }├─sda1                       8:1    0   512M  0 part /boot/efi
├─sda2                       8:2    0   512M  0 part /boot
4 n5 Z( y% O: k7 z├─sda3                       8:3    0    32G  0 part [SWAP]
; n$ C" h4 P! n└─sda4                       8:4    0 245.5G  0 part
! `4 z. [1 J) I7 G" j+ D) F  ├─Root_vg-lv_root (dm-0) 253:0    0 230.4G  0 lvm  /
  ├─Root_vg-lv_home (dm-1) 253:1    0     5G  0 lvm  /home
: O; U5 ~; @( S  └─Root_vg-lv_tmp (dm-2)  253:2    0     5G  0 lvm  /tmp
drbd1                      147:1    0    50G  1 disk
drbd0                      147:0    0    20G  1 disk
' j  [2 g: H7 X! J4 |& A. Q/ c2 K, f
* l8 o3 m3 U  M; W