multipath操作命令 linux系统出现多路径

admin · 发表于 2021-8-12 12:00:19

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？开始注册

x

[root@ceph1 ~]# lsblk
  g4 d# `# z+ _4 ~+ _6 i! U" SNAME          MAJ:MIN RM SIZE RO TYPE  MOUNTPOINT6 L1 V+ p/ Y8 T8 s0 I
sda             8:0 0 557.9G  0 disk  / @: k( h) U3 z8 ?5 m8 c+ a- l
├─sda1          8:1 0    1G  0 part  /boot
# r; B4 h. t, J* z9 N: J└─sda2          8:2 0 556.9G  0 part  5 u* O8 k  `+ `" {' h- T
  ├─centos-root 253:0 0 552.9G  0 lvm /( [% A9 O6 J8 b) \! T/ w
  └─centos-swap 253:1 0    4G  0 lvm [SWAP]
6 z- L# ~: S+ Z! jsdb             8:16 0 447.1G  0 disk  1 U$ s6 }8 y! X- i* S! b; z. o5 @
└─mpathj       253:9 0 447.1G  0 mpath 4 I4 s" g9 _) Y# Z* l. v& e1 U
sdc             8:32 0 447.1G  0 disk  1 J0 `" Q2 I, w  n3 ~0 h; a' t
└─mpathi       253:10 0 447.1G  0 mpath : a. d- E9 k9 p3 m& ?0 w
sdd             8:48 0 3.7T  0 disk  : @  x* t5 H  z  Z. r+ _) j7 i7 \
└─mpathc       253:8 0 3.7T  0 mpath
* b2 x) q% y4 x; a, v8 isde             8:64 0 3.7T  0 disk
* j1 @- u/ n$ J* w8 J/ p1 |5 ?, ]└─mpathh       253:2 0 3.7T  0 mpath 1 A. P. G. L5 R: D
sdf             8:80 0 3.7T  0 disk
( I1 c) W% }; [  i( y* A└─mpathf       253:7 0 3.7T  0 mpath 9 w& O& D: c. C% q
sdg             8:96 0 3.7T  0 disk  * l+ ~$ N( O" ^: d$ e7 X1 }
└─mpathd       253:11 0 3.7T  0 mpath 2 i5 c' Y' {* K; v3 N% @, q
sdh             8:112  0 3.7T  0 disk  - d% {4 X) H# l/ |
└─mpathk       253:6 0 3.7T  0 mpath " y- R2 Y6 }* W; X
sdi             8:128  0 3.7T  0 disk  6 L7 X; [. c' C2 T8 U! G
└─mpathb       253:12 0 3.7T  0 mpath + i8 v! j# Y! j) L$ y) C  I6 t
sdj             8:144  0 3.5T  0 disk  2 ^" p& o) x8 ~7 {6 R1 ~" i4 g
└─mpathe       253:4 0 3.5T  0 mpath
4 w1 E  D- G* f' B/ w) Isdk             8:160  0 3.5T  0 disk
/ }  T7 U% s" E+ _8 f# U$ ~7 B! d└─mpathg       253:3 0 3.5T  0 mpath 4 A' P$ v  G' F+ H' T8 h
sr0             11:0 1  1024M  0 rom 4 j$ {6 F. J- s  C( L5 W' r
sr1             11:1 1  1024M  0 rom
6 E" ]7 V+ |2 I1 h4 Q. Unvme0n1       259:0 0 349.3G  0 disk  - e9 m3 b: C& J8 x
└─mpatha       253:5 0 349.3G  0 mpath $ E7 o: \# h4 ?0 P2 C2 O% K' U, _! f
[root@ceph1 ~]# multipath -F4 L, ~6 _4 I, r5 H1 s( ~' n
Aug 12 11:31:24 | /etc/multipath.conf line 3, invalid keyword: udev_dir

) s( S# u% y1 ^7 c. Q8 \9 H

: B$ D6 `6 U2 W. |: `! [  {
multipath操作命令5 ~8 {3 D( D; h% p  J
# /etc/init.d/multipathd start #开启mulitipath服务
# multipath -F #删除现有路径
# multipath -v2 #格式化路径
# multipath -ll #查看多路径

[root@ceph1 dev]# multipath
multipath multipathd
[root@ceph1 dev]# multipath -ll
Aug 12 11:33:33 | /etc/multipath.conf line 3, invalid keyword: udev_dir
[root@ceph1 dev]# multipath -l
Aug 12 11:33:37 | /etc/multipath.conf line 3, invalid keyword: udev_dir
[root@ceph1 dev]# multipath -ll
Aug 12 11:33:39 | /etc/multipath.conf line 3, invalid keyword: udev_dir

[root@ceph1 dev]# multipath -F
Aug 12 11:34:33 | /etc/multipath.conf does not exist, blacklisting all devices.
Aug 12 11:34:33 | A default multipath.conf file is located at
Aug 12 11:34:33 | /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf
Aug 12 11:34:33 | You can run /sbin/mpathconf --enable to create
Aug 12 11:34:33 | /etc/multipath.conf. See man mpathconf(8) for more details

admin · 发表于 2021-8-12 12:00:20

[root@ceph1 ~]# lsblk
NAME          MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda             8:0 0 557.9G  0 disk
├─sda1          8:1 0    1G  0 part /boot
└─sda2          8:2 0 556.9G  0 part
  ├─centos-root 253:0 0 552.9G  0 lvm  /
  └─centos-swap 253:1 0    4G  0 lvm  [SWAP]
sdb             8:16 0 447.1G  0 disk
sdc             8:32 0 447.1G  0 disk
sdd             8:48 0 3.7T  0 disk
sde             8:64 0 3.7T  0 disk
sdf             8:80 0 3.7T  0 disk
sdg             8:96 0 3.7T  0 disk
sdh             8:112  0 3.7T  0 disk
sdi             8:128  0 3.7T  0 disk
sdj             8:144  0 3.5T  0 disk
sdk             8:160  0 3.5T  0 disk
sr0             11:0 1  1024M  0 rom
sr1             11:1 1  1024M  0 rom
nvme0n1       259:0 0 349.3G  0 disk

重启系统之后，看见问题视乎解决了。

admin · 发表于 2021-8-12 12:00:21

4、 multipath磁盘的基本操作
要对多路径软件生成的磁盘进行操作直接操作/dev/mapper/目录下的磁盘就行.
在对多路径软件生成的磁盘进行分区之前最好运行一下pvcreate命令:
# pvcreate /dev/mapper/mpath0
# fdisk /dev/mapper/mpath0
p_w_picpath
用fdisk对多路径软件生成的磁盘进行分区保存时会有一个报错,此报错不用理会。
fdisk对多路径软件生成的磁盘进行分区之后，所生成的磁盘分区并没有马上添加到/dev/目录下，此时我们要重启IPSAN或者FCSAN的驱动，如果是用iscsi-initiator来连接IPSAN的重启ISCSI服务就可以发现所生成的磁盘分区了
# service iscsi restart
# ls -l /dev/mapper/
p_w_picpath
如上图中的mpath0p1和mpath1p1就是我们对multipath磁盘进行的分区
# mkfs.ext3 /dev/mapper/mpath0p1 #对mpath1p1分区格式化成ext3文件系统
# mount /dev/mapper/mpath0p1 /ipsan/ #挂载mpath1p1分区
p_w_picpath

四、multipath的高有配置
以上都是用multipath的默认配置来完成multipath的配置，比如映射设备的名称，multipath负载均衡的方法都是默认设置。那有没有按照我们自己定义的方法来配置multipath呢，当可以。
1 、multipath.conf 文件的配置
接下来的工作就是要编辑/etc/multipath.conf的配置文件
multipath.conf主要包括blacklist、multipaths、devices三部份的配置
blacklist 配置
blacklist {
devnode "^sda"
}
Multipaths 部分配置multipaths和devices两部份的配置。
multipaths {
multipath {
wwid **************** #此值multipath -v3可以看到
alias iscsi-dm0 #映射后的别名,可以随便取
path_grouping_policy multibus #路径组策略
path_checker tur #决定路径状态的方法
path_selector "round-robin 0" #选择那条路径进行下一个IO操作的方法
}
}
Devices 部分配置
devices {
device {
vendor "iSCSI-Enterprise" #厂商名称
product "Virtual disk" #产品型号
path_grouping_policy multibus #默认的路径组策略
getuid_callout "/sbin/scsi_id -g -u -s /block/%n" #获得唯一设备号使用的默认程序
prio_callout    "/sbin/acs_prio_alua %d" #获取有限级数值使用的默认程序
path_checker readsector0 #决定路径状态的方法
path_selector "round-robin 0" #选择那条路径进行下一个IO操作的方法
failback       immediate #故障恢复的模式
no_path_retry    queue #在disable queue之前系统尝试使用失效路径的次数的数值
  rr_min_io    100 #在当前的用户组中，在切换到另外一条路径之前的IO请求的数目
}
}
如下是一个完整的配置文件
blacklist {
devnode "^sda"
}
defaults {
user_friendly_names no
}
multipaths {
multipath {
wwid 14945540000000000a67854c6270b4359c66c272e2f356321
alias iscsi-dm0
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid 14945540000000000dcca2eda91d70b81edbcfce2357f99ee
alias iscsi-dm1
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid 1494554000000000020f763489c165561101813333957ed96
alias iscsi-dm2
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
multipath {
wwid 14945540000000000919ca813020a195422ba3663e1f03cc3
alias iscsi-dm3
path_grouping_policy multibus
path_checker tur
path_selector "round-robin 0"
}
}
devices {
device {
vendor "iSCSI-Enterprise"
product "Virtual disk"
path_grouping_policy multibus
getuid_callout "/sbin/scsi_id -g -u -s /block/%n"
path_checker readsector0
path_selector "round-robin 0"
}
}
获取wwid的方法：
(1)默认情况下，将使用 /var/lib/multipath/bindings 内的配置设定具体每个多路径设备名，如果在/etc/multipath.conf中有设定各wwid 别名，别名会覆盖此设定。
p_w_picpath
(2)# multipath -v3命令查找
p_w_picpath
2 、负载均衡测试
使用dd命令来对设备进行写操作，并同时通过iostat来查看I／0状态，命令及输出如下：
# dd if=/dev/zero of=/dev/mapper/iscsi-dm1p1
开启另外一个终端用以下命令查看IO情况
# iostat 10 10
p_w_picpath
通过上述输出，我们看到，在对/dev/mapper/iscsi-dm1p1读写时，实际上是通过对/dev/md-1包含的当前active的所有设备，即/dev/sde1,/dev/shl这2条路径来完成对实际的LUN的写过程。
3 、路径切换测试
首先，我们拔掉服务器上一根网线，经过不到10秒，我们看到：MPIO成功地从上述“失败”的路径/dev/sel切换到了另外一条路径/dev/sdh1上。

账号		自动登录	找回密码
密码			开始注册

multipath操作命令 linux系统出现多路径

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

浏览过的版块

站长推荐 /4