Ceph iSCSI gateway 安装和配置

admin

使用ANSI配置ISCSI TARGET
8 \  ]/ C6 G( V( W7 D, NCeph iSCSI gateway是iSCSI target node，也是Ceph client node。 Ceph iSCSI gateway可以是独立节点，也可以位于Ceph Object Store Disk (OSD) node上。 完成以下步骤，将安装Ceph iSCSI gateway并将其配置为基本操作。
要求：
正在运行的Ceph Luminous（12.2.x）集群或更高版本
$ O% g) e. M0 o4 ORed Hat Enterprise Linux/CentOS 7.5（或更高版本）； Linux内核v4.16（或更高版本）
在所有iSCSI gateway节点上安装ceph-iscsi package
! d1 s/ i; M5 t. @+ N安装：
! n5 s* p. e2 j" \在Ansible installer节点（可以是管理节点也可以是专用部署节点）上，执行以下步骤：
1、以root用户身份安装ceph-ansible package：
# yum install ceph-ansible
2、在/etc/ansible/hosts文件中为gateway group添加一个entry：
[iscsigws]
ceph-igw-1
5 C( t5 o! O, n. W4 r: L1 [" Pceph-igw-2
注意如果将iSCSI gateway与OSD部署同一节点，则将OSD节点添加到[iscsigws] section。
5 |8 \8 m( W" ]/ o) b2 w配置：
ceph-ansible package在/usr/share/ceph-ansible/group_vars/目录中放置了一个名为iscsigws.yml.sample的文件。 创建此示例文件的副本iscsigws.yml。 查看以下Ansible变量和说明，并进行相应更新。 有关高级变量的完整列表，请参见iscsigws.yml.sample。
- f- _2 }+ r' ?- K* h8 ~9 xVariable（变量） Meaning/Purpose（含义/目的）
seed_monitor 每个gateway都需要访问ceph集群以进行rados和rbd calls。 这意味着iSCSI gateway必须已定义适当的/etc/ceph/目录。 seed_monitor host用于填充iSCSI gateway的/etc/ceph/目录。
cluster_name 自定义存储集群名称（默认为ceph）
gateway_keyring Define a custom keyring name.
deploy_settings 如果设置为true，则在运行playbook时deploy the settings。
3 j6 l' ^) @+ Uperform_system_checks 这是一个布尔值，用于检查每个gateway上的multipath和lvm configuration settings。 必须至少在第一次运行时将其设置为true，以确保正确配置了multipathd和lvm。
api_user API的用户名。 默认值为admin。
' d8 `0 X* S; zapi_password 使用API的密码。 默认值为admin。
api_port 使用API的TCP端口号。 默认值为5000。
+ |1 U9 M+ @5 Q7 B& yapi_secure 如果必须使用TLS，则为True。 默认为false。 如果为true，则用户必须创建必要的certificate和key files。 有关详细信息，请参见gwcli man文件。
trusted_ip_list 有权访问API的IPv4或IPv6地址的列表。 默认情况下，只有iSCSI gateway节点可以访问。
. F# l1 @3 g" S  PDeploying:
在Ansible installer节点上，执行以下步骤。
1、以root用户身份执行Ansible playbook：
# cd /usr/share/ceph-ansible
) K$ q+ t0 K( k; U) ~$ r( X# ansible-playbook site.yml --limit iscsigws
注意Ansible playbook将处理RPM dependencies，设置daemons并安装gwcli，因此可用于创建iSCSI targets并将RBD images导出为LUN。 在以前的版本中，iscsigws.yml可以定义iSCSI target和其他objects，如clients, images和LUNs, 但现在不再支持该功能。
) F( R* l9 ]1 Q' J  R. [2、从iSCSI gateway节点验证配置：
# gwcli ls
请参阅Configuring the iSCSI Target using the Command Line Interface，使用gwcli工具创建gateways, LUNs和clients。
0 U% p5 z) `1 R1 R1 R重要提示尝试使用targetcli工具更改配置将导致以下问题，例如ALUA配置错误和路径故障转移问题。 可能会损坏数据，configuration across iSCSI gateways不匹配，WWN information不匹配，这将导致client multipath问题。
6 M) \% u* j5 k: }2 [0 o+ w. fService Management:
7 G, c6 X/ I# \& x3 uceph-iscsi package安装configuration management logic和一个名为rbd-target-api的Systemd service。启用Systemd service后，rbd-target-api将在引导时启动，并将恢复Linux IO状态。Ansible playbook会在部署期间禁用target service。以下是与rbd-target-api Systemd服务交互命令。
# systemctl <start|stop|restart|reload> rbd-target-api
, i* s9 P- a8 Q) ~reload
reload request将强制rbd-target-api重新读取配置并将其应用于当前正在运行的环境。 通常不需要这样做，因为changes是从Ansible并行部署到所有iSCSI gateway节点的。
* s( h" `  N$ j/ v& n: [$ Xstop
stop request将关闭gateway的portal interfaces，断开与客户端的连接，并从内核中清除当前的LIO配置。这将使iSCSI gateway返回到clean状态。 当客户端断开连接时，客户端multipathing layer会将active I/O（活动的I/O）重新安排到其他iSCSI gateways。
Removing the Configuration:
ceph-ansible package提供了Ansible手册，可删除iSCSI gateway配置和相关的RBD images。 Ansible playbook是/usr/share/ceph-ansible/purge_gateways.yml。 运行此Ansible playbook时，系统会提示您执行清除的类型：
lio :
/ S2 @5 `$ [; W6 {- h% E* L9 H在此模式下，将在已定义的所有iSCSI gateways上清除LIO配置。 在Ceph storage集群中，创建的Disks保持不变。
+ v+ o% [2 x8 m6 L) t  Hall :
选择all后，将删除LIO配置以及在iSCSI gateway环境中定义的所有RBD images，其他不相关的RBD images将不会删除。
" z; `# ~" ^: s( i5 O% h# m! Q$ _( G警告清除操作是对iSCSI gateway环境的破坏性操作。
警告如果RBD images具有snapshots或clones并通过Ceph iSCSI gateway导出，则清除操作将失败。
[root@rh7-iscsi-client ceph-ansible]# ansible-playbook purge_gateways.yml
Which configuration elements should be purged? (all, lio or abort) [abort]: all
! M8 D# O9 }9 S
3 }2 l: a8 P+ p( \9 g9 ^8 rPLAY [Confirm removal of the iSCSI gateway configuration] *********************

9 L1 a- v6 A1 H$ `0 ZGATHERING FACTS ***************************************************************
ok: [localhost]
9 |% U) E# o0 T# `) w9 R3 e5 s
" v# }2 C# t5 A$ ~$ DTASK: [Exit playbook if user aborted the purge] *******************************
% y% `+ m" M5 i8 rskipping: [localhost]

% x4 j/ M" k  V2 g5 D  y( m" hTASK: [set_fact ] *************************************************************
ok: [localhost]

PLAY [Removing the gateway configuration] *************************************

3 t5 U9 \8 M$ n( q4 J* cGATHERING FACTS ***************************************************************
ok: [ceph-igw-1]
; f" b: N: Y: l9 L5 ook: [ceph-igw-2]

TASK: [igw_purge | purging the gateway configuration] *************************
) r: t  M3 j* u* R. N1 Kchanged: [ceph-igw-1]
changed: [ceph-igw-2]
: [# c% I1 q4 [* x8 [4 y9 R5 D
8 W% G- K! _) w- E  iTASK: [igw_purge | deleting configured rbd devices] ***************************
changed: [ceph-igw-1]
changed: [ceph-igw-2]
# X" `  p+ U! u
PLAY RECAP ********************************************************************
ceph-igw-1                 : ok=3    changed=2    unreachable=0    failed=0
9 G: N5 P: j+ m8 T, iceph-igw-2                 : ok=3    changed=2    unreachable=0    failed=0
3 y+ N3 K# K- Q( W) Plocalhost                  : ok=2    changed=0    unreachable=0    failed=0
6 b+ @3 R) T& x. ]. V  O使用COMMAND LINE INTERFACE配置ISCSI TARGET
Ceph iSCSI gateway是iSCSI target节点，也是Ceph client节点。 Ceph iSCSI gateway可以是独立节点，也可以位于Ceph Object Store Disk (OSD)节点上。 完成以下步骤，将安装Ceph iSCSI gateway并将其配置为基本操作。
Requirements:
正在运行的Ceph Luminous（12.2.x）集群或更高版本
Red Hat Enterprise Linux/CentOS 7.5（或更高版本）； Linux内核v4.16（或更高版本）
4 J; ]8 x; ]! {7 j; Z! C% s- ~必须从Linux发行版的软件repository中安装以下软件包：
targetcli-2.1.fb47 or newer package
python-rtslib-2.1.fb68 or newer package
+ g1 P/ J: Z2 E7 s3 g* }tcmu-runner-1.4.0 or newer package
- A& C; q; v7 xceph-iscsi-3.2 or newer package
重要说明：如果存在这些packages的先前版本，则必须在安装较新版本之前首先将其删除。
8 |" V7 c3 c4 w) l4 A# r/ x0 u在继续Installing section之前，请在Ceph iSCSI gateway节点上执行以下步骤：
0 J9 W7 p( G9 y9 @6 ?7 s7 h1、如果Ceph iSCSI gateway未在OSD节点上，则将/etc/ceph/中的Ceph配置文件复制到iSCSI gateway 节点。 Ceph配置文件必须存在于/etc/ceph/下的iSCSI gateway节点上。
2、安装和配置Ceph Command-line Interface
& U& K/ p% L- H$ p/ l3 O3 ~' |3、请在防火墙上打开TCP端口3260和5000。
& b7 s1 W$ O  `1 Z5 B2 z& w注意对端口5000的访问应仅限于受信任的内部网络或仅使用gwcli或正在运行ceph-mgr daemons的单个主机。
4、创建一个新的或使用现有的RADOS Block Device (RBD)。
Installing:
如果您使用upstream ceph-iscsi package，请遵循 manual install instructions。
4 {- c* v+ J) k5 D! P对于基于rpm的指令，请执行以下命令：
: x# x8 |) [. ~1、以root用户身份，在所有iSCSI gateway节点上，安装ceph-iscsi package：
# yum install ceph-iscsi
  O( X1 U  P) _$ k; v2、以root用户身份，在所有iSCSI gateway节点上，安装tcmu-runner package：
$ p/ d9 K; g6 s& q' e# yum install tcmu-runner
& j5 r: G4 }; D$ g  r; _Setup:
  p: E  b0 w1 o) P& z3 C1、gwcli需要一个名称为rbd的pool，因此它可以存储iSCSI配置之类的元数据。 要检查是否已创建此pool，请运行：
# ceph osd lspools
2 X5 G7 j( o# g如果不存在，则可以在RADOS pool operations page上找到创建pool的说明。
% t% L4 ^$ h7 E0 j2、在iSCSI gateway节点上，以root身份在/etc/ceph/目录中创建一个名为iscsi-gateway.cfg的文件：
3 ~! y& m& ~/ u. q2 I# touch /etc/ceph/iscsi-gateway.cfg
* [2 ~& i4 Z2 k; a  |' r2.1、编辑iscsi-gateway.cfg文件并添加以下行：
[config]
# Name of the Ceph storage cluster. A suitable Ceph configuration file allowing
# access to the Ceph storage cluster from the gateway node is required, if not
2 F2 h6 Y" u- a7 b9 f) U( f4 a# colocated on an OSD node.
cluster_name = ceph
, L4 R+ L; x7 f9 c3 |# m# Place a copy of the ceph cluster's admin keyring in the gateway's /etc/ceph
# drectory and reference the filename here
4 w# A4 J+ _/ W( \gateway_keyring = ceph.client.admin.keyring

# API settings.
# The API supports a number of options that allow you to tailor it to your
% q0 J; T! ^5 [  z: l* @2 R# local environment. If you want to run the API under https, you will need to
# create cert/key files that are compatible for each iSCSI gateway node, that is
1 x% G/ D! x. }5 U2 N1 k# not locked to a specific node. SSL cert and key files *must* be called
+ D* x2 P$ q9 @) G+ s8 x- R# 'iscsi-gateway.crt' and 'iscsi-gateway.key' and placed in the '/etc/ceph/' directory
9 G# ?" x/ c! e9 A6 h2 g# on *each* gateway node. With the SSL files in place, you can use 'api_secure = true'
# to switch to https mode.
# To support the API, the bear minimum settings are:
api_secure = false
# Additional API configuration options are as follows, defaults shown.
% N9 J; e0 m" n+ s, F$ }# api_user = admin
3 M# q' `9 s+ C# api_password = admin
# S7 n2 s2 ]) t+ U( g# api_port = 5001
# trusted_ip_list = 192.168.0.10,192.168.0.11
  q, a; T& I5 |6 k/ S! O
# ------------------------------------------------------
# 翻译如下
[config]
＃Ceph存储集群的名称。如果不位于OSD节点上，则需要一个合适的Ceph配置文件，该文件允许从gateway节点访问Ceph存储群集。
$ @' {+ W- ]8 Ncluster_name = ceph
% t2 b' F& n& Y( ]& E＃将ceph集群的admin keyring的副本放置在gateway的/etc/ceph文件夹中，并在此处引用filename
gateway_keyring = ceph.client.admin.keyring

＃API设置。
& [% Z+ }$ e: {8 B＃API支持许多选项，可让您根据本地环境进行定制。如果要在https下运行API，则需要为每个iSCSI gateway节点创建兼容的cert/key文件，该节点未锁定到特定节点。必须将SSL cert和key文件命名为'iscsi-gateway.crt'和'iscsi-gateway.key'，并放置在每个gateway节点上的'/etc/ceph/'目录中。放置好SSL文件后，您可以使用'api_secure = true'切换到https模式。
＃为了支持API，至少需要配置如下：
9 |% A* J/ P& C; I3 gapi_secure = false
4 ~1 e2 S# W$ C6 G9 r0 J( I＃其他API配置选项如下，显示的默认值。（trusted翻译为信任）
4 X4 ~5 |% \8 ^7 X1 M, G# api_user = admin
# api_password = admin
% `  V% b% `+ m  }# api_port = 5001
. }7 E" D* _8 i+ |; q" P/ A# trusted_ip_list = 192.168.0.10,192.168.0.11
注意trusted_ip_list是每个iscsi gateway上IP地址的列表，将用于管理操作，如创建target，lun导出等。该IP可以与用于iSCSI data的IP相同，例如与RBD image之间的READ/WRITE命令，但建议使用单独的IP。
重要说明：在所有iSCSI gateway节点上，iscsi-gateway.cfg文件必须相同。
2.2、以root用户身份将iscsi-gateway.cfg文件复制到所有iSCSI gateway节点。
2.3、以root用户身份，在所有iSCSI gateway节点上，启用并启动API服务：
# systemctl daemon-reload
9 d) i+ D- o8 z- w# systemctl enable rbd-target-api
# systemctl start rbd-target-api
) s, B7 z8 q% \7 t' NConfiguring:
gwcli将创建和配置iSCSI target和RBD images，并在上一部分中的gateways设置之间复制配置。 较低级别的工具（例如targetcli和rbd）可用于查询本地配置，但不应用于对其进行修改。 下一节将演示如何创建iSCSI target并将RBD image导出为LUN 0。
; Y5 P3 I- R& F" Y4 F: S1、以root用户身份，在iSCSI gateway节点上，启动iSCSI gateway command-line interface：
5 M' O5 b1 z4 r6 f* [6 f# gwcli
2、转到iscsi-targets并创建名为iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw的目标：
5 z" A: W% D8 `> /> cd /iscsi-target
> /iscsi-target>  create iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw
3、创建iSCSI gateways。 下面使用的IP是用于iSCSI data（如READ和WRITE命令）的IP。 它们可以是trusted_ip_list中列出的用于管理操作相同的IP，但是建议使用不同的IP。
+ |' J% @$ O: o1 N" D" K. k1 b& v  ^+ W> /iscsi-target> cd iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw/gateways
4 r/ b# _( Z  Q: [  p> /iscsi-target...-igw/gateways>  create ceph-gw-1 10.172.19.21
> /iscsi-target...-igw/gateways>  create ceph-gw-2 10.172.19.22
如果不使用RHEL/CentOS或使用upstream或ceph-iscsi-test kernel，则必须使用skipchecks=true参数。 这将避免Red Hat kernel和rpm checks：
, q1 b0 I" @8 U% j4 z* ?; [/ E> /iscsi-target> cd iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw/gateways
> /iscsi-target...-igw/gateways>  create ceph-gw-1 10.172.19.21 skipchecks=true
6 `! v' Q0 X- ^3 a, D> /iscsi-target...-igw/gateways>  create ceph-gw-2 10.172.19.22 skipchecks=true
4、在rbd pool中添加名称为disk_1的RBD image：
% Y/ q! l( o* n  t> /iscsi-target...-igw/gateways> cd /disks
+ K# w6 ?! B# o" n, M  a> /disks> create pool=rbd image=disk_1 size=90G
5、创建一个客户端，使用initiator名称iqn.1994-05.com.redhat:rh7-client：
" G! t: Z3 B, a( X/ ~5 J' x> /disks> cd /iscsi-target/iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw/hosts
> /iscsi-target...eph-igw/hosts>  create iqn.1994-05.com.redhat:rh7-client
5 {4 D! t) S9 e3 z. p6、将客户端的CHAP用户名设置为myiscsiusername，将密码设置为myiscsipassword：
* Q/ ?6 \- c. V) E2 o> /iscsi-target...at:rh7-client>  auth username=myiscsiusername password=myiscsipassword
警告必须始终配置CHAP。 如果没有CHAP，target将拒绝任何登录请求。
  `: x4 F  K7 w9 c7、将disk添加到客户端：
> /iscsi-target...at:rh7-client> disk add rbd/disk_1
8 X5 U9 o% _  d下一步是配置iSCSI initiators。
手动安装CEPH-ISCSI
# w( H# a0 @) @+ FRequirements
9 x3 V# @  u7 W& l! \9 m要完成ceph-iscsi的安装，有4个步骤：
. _/ q6 p, O5 G/ X4 G3 U9 g1、从Linux发行版的软件repository安装common packages
* A; Y9 W. {6 N0 w- R  y  U2、安装Git以直接从其Git repositories中获取其余packages
2 E- k8 j5 A  h5 X3、确保使用兼容的kernel
4、安装ceph-iscsi的所有组件并启动相关的daemons：
# j/ t  P+ t. Y5 U! ?" o' R" Ntcmu-runner
2 M( U) F: M$ brtslib-fb
configshell-fb
targetcli-fb
/ r" E4 _8 M6 b, P5 b4 e' i( H$ r9 I5 Mceph-iscsi
1、安装COMMON PACKAGES
ceph-iscsi和target工具将使用以下packages。 必须从Linux发行版的软件repository中将它们安装在将成为iSCSI gateway的每台计算机上：
: u, I; {6 S2 r( H0 Rlibnl3
libkmod
librbd1
. E5 Y1 z+ J1 Q) r" N2 {5 P& ppyparsing
4 j( v/ N8 Z: Y3 bpython kmod
8 b" ^/ ^7 U$ u2 Q. dpython pyudev
python gobject
python urwid
python pyparsing
python rados
python rbd
6 X% I* L( c5 Q5 Ppython netifaces
python crypto
, }; h/ H# N1 I- l1 x; P2 r' vpython requests
# _: R! ]" C( x! Xpython flask
: u4 N" F! G* HpyOpenSSL
2、安装GIT
为了安装使用Ceph运行iSCSI所需的所有packages，您需要使用Git直接从其repository中下载它们。 在CentOS/RHEL上执行：
# a, n- l# u" Z5 N> sudo yum install git
在Debian/Ubuntu上执行：
> sudo apt install git
要了解有关Git及其工作方式的更多信息，请访问https://git-scm.com
3、确保使用了兼容的KERNEL
确保使用支持Ceph iSCSI patches的kernel：
具有内核v4.16或更高版本的所有Linux发行版
: B& U, |6 j3 U8 p% Y3 s# @Red Hat Enterprise Linux或CentOS 7.5更高版本
# a' G" Y1 h, _& C如果您已经在使用兼容的kernel，则可以转到下一步。 但是，如果您不使用兼容的kernel，请查看发行版的文档以获取有关如何构建此kernel的特定说明。 唯一的Ceph iSCSI特定要求是必须启用以下构建选项：
CONFIG_TARGET_CORE=m
CONFIG_TCM_USER2=m
CONFIG_ISCSI_TARGET=m
% ~7 [7 d3 P/ Q7 b5 y  C3 [, k4、安装CEPH-ISCSI
最后，可以直接从其Git repositories中获取其余工具，并启动其相关服务
" d) W; L0 G4 m6 a% jTCMU-RUNNER
& }9 `$ S" b" p( t1 t/ q) ^Installation:
> git clone https://github.com/open-iscsi/tcmu-runner
> cd tcmu-runner
) u5 k" ~$ b& t! L1 w运行以下命令以安装所有必需的依赖项：
' u3 f, x' e* C" w> ./extra/install_dep.sh
现在，您可以构建tcmu-runner。 为此，请使用以下构建命令：
> cmake -Dwith-glfs=false -Dwith-qcow=false -DSUPPORT_SYSTEMD=ON -DCMAKE_INSTALL_PREFIX=/usr
5 ?( R0 B4 M- W- O( C( X# N8 l> make install
  Z$ A3 F2 h; [4 @% R3 u  S( W/ I! s6 ]启用并启动守护程序：
6 E8 v+ _3 }/ ~7 D$ v' x& c> systemctl daemon-reload
: m( s; w- m0 y& p/ r- A> systemctl enable tcmu-runner
+ }- |  H9 l( {: L9 W/ f. L9 r> systemctl start tcmu-runner
RTSLIB-FB
Installation:
( c$ \5 {, x/ f9 K% Z+ L2 F* u> git clone https://github.com/open-iscsi/rtslib-fb.git
> cd rtslib-fb
> python setup.py install
1 J$ g+ P$ [0 }3 O8 eCONFIGSHELL-FB
  [) _1 y6 N5 n% [Installation:
  F6 z( w* t3 n> git clone https://github.com/open-iscsi/configshell-fb.git
5 N$ T" [* z5 k$ q( W> cd configshell-fb
3 N8 s) x: i2 J& J4 X> python setup.py install
: }; S! t# s! u# w. U# GTARGETCLI-FB
0 I; m8 {( O# Y1 i. _5 u: \' k$ L) pInstallation:
> git clone https://github.com/open-iscsi/targetcli-fb.git
> cd targetcli-fb
> python setup.py install
> mkdir /etc/target
; A/ e3 P" p* H  g8 O$ a( y" e> mkdir /var/target
警告ceph-iscsi工具假定它们正在管理系统上的所有targets。 如果已设置targets并由targetcli管理，则必须禁用targets服务。
6 C' ?5 S& w) ^) OCEPH-ISCSI
7 H; Y  X! V. R7 |8 k( d2 F* `Installation:
5 L3 I% ]* F0 M6 D; \> git clone https://github.com/ceph/ceph-iscsi.git
> cd ceph-iscsi
> python setup.py install --install-scripts=/usr/bin
% E% L$ @& x( k) t2 _+ ^/ u> cp usr/lib/systemd/system/rbd-target-gw.service /lib/systemd/system
> cp usr/lib/systemd/system/rbd-target-api.service /lib/systemd/system
, O: T5 K# r6 w7 R/ o启用并启动daemon：
> systemctl daemon-reload
, x9 r; R# g$ T4 R. r6 j8 E> systemctl enable rbd-target-gw
( e; ~$ `5 S% Z2 v> systemctl start rbd-target-gw
- j0 A: _2 q: S( C5 d0 [% E' [& R> systemctl enable rbd-target-api
> systemctl start rbd-target-api
7 H, g) v% @7 x9 r8 b8 ^安装完成。 进入main ceph-iscsi CLI page上的setup部分。
1 \, |3 T& }1 T9 u1 n& Y

admin

手动安装CEPH-ISCSI
8 H- v% ?9 x' @9 l2 d3 V( u- vRequirements
# a8 j9 u) o3 I; y! D0 ^0 r7 \  F
2 A: t) E/ p% M- B3 T  `6 z要完成ceph-iscsi的安装，有4个步骤：
6 x( T+ W! S* i8 R
/ L' T% ~, {  `* W+ N! t1、从Linux发行版的软件repository安装common packages
5 Q  p, N9 i3 L* z7 j
2、安装Git以直接从其Git repositories中获取其余packages
0 q9 D- e/ t* F: _  j# `# L' F& Z
3、确保使用兼容的kernel
' W' {3 F) T9 K/ h% l6 i) E
9 i8 s) i# d7 F1 C* F, h7 A4、安装ceph-iscsi的所有组件并启动相关的daemons：
4 A0 i6 j# R* O8 p7 i" p; n
) B# C* O8 X  w, N1 E& C& ytcmu-runner
+ {: W+ K) {( t5 E# B: }& ^8 Q9 xrtslib-fb
: \+ C0 ~, B# l) I0 d6 g1 \configshell-fb
targetcli-fb
; ~% h( l  _8 u0 g" Kceph-iscsi
# |; Q  [7 u( \. y. h. s! @1 K, Y' V1、安装COMMON PACKAGES
ceph-iscsi和target工具将使用以下packages。 必须从Linux发行版的软件repository中将它们安装在将成为iSCSI gateway的每台计算机上：
5 W' {& J5 w" y" B) T3 W1 u
- F# [7 o5 T6 r# u& ?1 ^/ \9 m4 |libnl3
libkmod
) G) {" \# \' x- a1 U2 Ulibrbd1
# o1 r# k0 m" F8 X3 i& ~) O' c! {pyparsing
python kmod
0 S  ?/ c9 a/ w1 i! n2 cpython pyudev
python gobject
python urwid
python pyparsing
/ ]; s/ f& V: U$ a6 n0 c4 wpython rados
3 n! v" S9 Y9 L( V5 u3 zpython rbd
+ {5 m* h( T( _" T: K6 R5 M5 bpython netifaces
( ?6 b% X7 w7 ]4 u5 e/ ^* bpython crypto
python requests
# G# L# `) u" F: `, |8 k6 a- Kpython flask
' U" y, _# t& I! ^5 o' fpyOpenSSL
8 Y0 `  M5 D3 `2 a2、安装GIT
" a' g" N+ H' b* S% i' p" j为了安装使用Ceph运行iSCSI所需的所有packages，您需要使用Git直接从其repository中下载它们。 在CentOS/RHEL上执行：

> sudo yum install git
在Debian/Ubuntu上执行：

> sudo apt install git
要了解有关Git及其工作方式的更多信息，请访问https://git-scm.com
7 B: l# d  e6 J* B! a& w" A* d
# t5 Q1 t0 e) d& {/ I4 |7 S3、确保使用了兼容的KERNEL
. R- v$ P1 P' C  Q6 `6 o" h确保使用支持Ceph iSCSI patches的kernel：
0 e* s8 D% Q/ H% {$ H1 n
具有内核v4.16或更高版本的所有Linux发行版
Red Hat Enterprise Linux或CentOS 7.5更高版本
( y' b( {8 V" `* Q4 P如果您已经在使用兼容的kernel，则可以转到下一步。 但是，如果您不使用兼容的kernel，请查看发行版的文档以获取有关如何构建此kernel的特定说明。 唯一的Ceph iSCSI特定要求是必须启用以下构建选项：
9 {. d$ w$ N0 x5 C+ I7 Z
3 X7 P  I6 N9 }4 bCONFIG_TARGET_CORE=m
CONFIG_TCM_USER2=m
CONFIG_ISCSI_TARGET=m
% ~9 U! `# l6 b& W4 Y8 ^7 X+ s' r4、安装CEPH-ISCSI
最后，可以直接从其Git repositories中获取其余工具，并启动其相关服务
6 j; p, p0 Z3 `. y
TCMU-RUNNER
# {+ C; s$ [4 C; u: p' {* \4 j, z
. `* g1 e# D8 r$ TInstallation:

> git clone https://github.com/open-iscsi/tcmu-runner
: N5 \9 b+ u/ ^8 t; a7 E> cd tcmu-runner
2 Y( a# v, u% Z( o1 f$ b运行以下命令以安装所有必需的依赖项：
8 z" Y. u7 i( S2 b) ~
> ./extra/install_dep.sh
现在，您可以构建tcmu-runner。 为此，请使用以下构建命令：
# T. B& h- p1 }& U6 _, d3 p
/ B& g. d% D8 l2 D% k$ {- s> cmake -Dwith-glfs=false -Dwith-qcow=false -DSUPPORT_SYSTEMD=ON -DCMAKE_INSTALL_PREFIX=/usr
> make install
启用并启动守护程序：
0 \- F6 D* e% Z( j$ _6 N' k
. k* w& C; Q+ o5 o> systemctl daemon-reload
# w, d. _( F+ j, Z9 _8 x: w> systemctl enable tcmu-runner
> systemctl start tcmu-runner
RTSLIB-FB
! G1 O* X+ c; D, ]. E
4 L& H* u  b/ _5 m1 o+ VInstallation:

. [! U* D/ J: {( @% }3 p0 v0 G5 K> git clone https://github.com/open-iscsi/rtslib-fb.git
> cd rtslib-fb
> python setup.py install
CONFIGSHELL-FB
, R# P" ~% J2 H! ]8 i! B
# C: ~8 A, l5 d& M/ iInstallation:

5 A& ], `0 |! [/ z> git clone https://github.com/open-iscsi/configshell-fb.git
> cd configshell-fb
> python setup.py install
$ V; s: Z4 S; X  CTARGETCLI-FB
  {3 O0 [/ l6 z
Installation:
- O% k, d6 i8 O2 b) A
> git clone https://github.com/open-iscsi/targetcli-fb.git
2 ?" Y& @# A% ~+ o/ n7 V  V5 t> cd targetcli-fb
% N3 o9 H- t; t& \/ M> python setup.py install
4 Z( W; Q% b4 p# u  j% j* f" W> mkdir /etc/target
" M# l7 @: P( Q4 g* C+ p> mkdir /var/target
警告ceph-iscsi工具假定它们正在管理系统上的所有targets。 如果已设置targets并由targetcli管理，则必须禁用targets服务。
% N, H6 d) r. b' y6 j0 v% t
CEPH-ISCSI
9 d8 Y1 o- i! c' W6 S( T. I( mInstallation:

> git clone https://github.com/ceph/ceph-iscsi.git
> cd ceph-iscsi
( D9 d. g- D! W* h8 J2 O9 f( t# y> python setup.py install --install-scripts=/usr/bin
> cp usr/lib/systemd/system/rbd-target-gw.service /lib/systemd/system
* r1 J/ _3 o$ W8 k2 H> cp usr/lib/systemd/system/rbd-target-api.service /lib/systemd/system
8 N  J' {4 Y3 ~/ U# S启用并启动daemon：

> systemctl daemon-reload
> systemctl enable rbd-target-gw
$ n7 b1 m: T; `: y> systemctl start rbd-target-gw
4 D' \& i8 X6 O> systemctl enable rbd-target-api
( W/ X; z+ d6 ^3 \0 B' i1 x> systemctl start rbd-target-api
% X: U+ a& q( ?3 [- e* Q: y安装完成。 进入main ceph-iscsi CLI page上的setup部分。

admin

iSCSI gateway节点检查&确认

3.1. 系统需求如下：

iSCSI gateways服务可以与OSD节点融合部署，也可以部署在独立的节点上。

注：官方建议 RHEL/CentOS 7.5; Linux kernel v4.17 or newer

实际采用：

操作系统：CentOS Linux release 7.4.1708 (Core)；

内核版本：3.10.0-693.el7.x86_64；

确认内核选项启用，如下：

3.2. ceph集群版本：

注：官方建议 Ceph Luminous (12.2.x) release or newer

实际采用：Ceph Kraken (11.1.0)

3.3. ceph集群配置：

通过快速检测OSDs 故障、快速检测请求超时，尽量减少iSCSI initiator端业务超时的情况。

建议如下配置：

确认配置：

确认名称为”rbd”的pool存在，如下：

确认支持5个features，如下：

8 _" u" T$ @) W! R

确认支持VAAI性能加速，如下：（如果不支持功能升也能使用）

( K! e- h; {+ P8 }, N

4、安 装

参照：

http://docs.ceph.com/docs/master/rbd/iscsi-target-cli-manual-install/

4.1. iSCSI gateway节点安装依赖包

注：ceph-iscsi-cli 和target tools依赖以下packages：

• libnl3
• kmod-libs
• librbd1
• pyparsing
• python-kmod
• python-pyudev
• python-gobject
• python-urwid
• python-rados
• python-rbd
• python-netaddr
• python-netifaces
• python2-crypto
• python-requests
• python-flask
• pyOpenSSL
  即：yum install -y libnl3  kmod-libs librbd1 pyparsing  python-kmod python-pyudev python-gobject python-urwid python-rados python-rbd python-netaddr python-netifaces python2-crypto python-requests python-flask pyOpenSSL
  % M9 @. V& q1 i' ?4 ?

  注：rtslib-fb依赖pyudev>=0.16.1

4.2. iSCSI gateway节点部署相关服务

4.2.1. 部署tcmu-runner
7 h. z, }- E8 \3 s

4.2.2. 部署rtslib-fb
/ C0 s3 o$ K# D, @

5 n. n1 X; O& n

4.2.3. 部署configshell-fb
& Q4 @: V2 F# N' p+ i) S3 s

+ u1 }, x; d$ J. h

4.2.4. 部署targetcli-fb
9 z+ ?5 \( ^; V0 T  y

- z6 Y$ M4 c! @% E

4.2.5. 创建配置文件
: P& O6 f/ i8 h4 R

  |; m- y2 Q. D9 ?0 t" i! i# b

4.2.6. 部署ceph-iscsi-config

4.2.7. 部署ceph-iscsi-cli
3 @8 ]: x6 X: M2 `+ ^

4.2.8. 检查各个服务状态正常

首先，检查相关服务状态正常：

/ F' R: Y8 o# u) `  d5、创建&配置iSCSI gateway5.1. 创建iSCSI target

例如以“iqn.2003-01.com.redhat.iscsi-gw:iscsi-igw”为iqn创建iSCSI target。

5.2. 创建iSCSI gateways

配置地址解析，如下：

其中，”10.10.10.121” 是本节点IP，且该IP用于读/写服务，”wenda-centos7-1801” 是本节点hostname。

例如，要配置2个gateway。

注意：配置/etc/hosts后，需要重启 这3个服务：

注意：在2个gateway节点上，要分别确认这3个服务正常运行。

如下创建2个gateway，提供HA方案：

然后，检查3260端口监听正常：
8 c$ X( U# ^8 q! d

5.3. 创建iSCSI disk
& u$ y# w- o" y* W. S# q$ e

如下创建RBD Image作为iSCSI 后端disk：

5.4. 创建iSCSI client创建iSCSI client的目的，就是在iSCSI gateway节点上为iSCSI initiator添加acl授权。

首先登陆iSCSI initiator节点（即iSCSI client端），获取InitiatorName。

/ m- @0 f& J7 y: w' s

然后在gateway节点以“iqn.1994-05.com.redhat:rh7-client”为iqn创建iSCSI client。

; T2 V. E5 _: t5 S% A, f  E
5.5. 为iSCSI client配置iSCSI CHAP认证信息

注：建议略过该步骤。

一旦配置CHAP认证信息，则iSCSI连接时必须提供CHAP用户信息。

例如设置client的CHAP用户名为”myiscsiusername”，密码为”myiscsipassword”

4 L8 M' Q' z  e5 @1 O* H, ]5.6. 为iSCSI client添加disk

例如 为iSCSI client添加disk名称为”rbd.disk_1”，该”rbd.disk_1”可在gwcli "ls /disks/"查询。

6、配置iSCSI initiator访问disk以Linux为例——6.1. 安装iSCSI initiator工具和multipath工具
# n% a, ?9 @: n* Y. n

6.2. 配置multipath服务

创建默认配置/etc/multipath.conf，并enable multipathd service。

" T- \3 H! m0 K: v修改配置/etc/multipath.conf，内容如下：

+ J5 u2 t: `% {8 P

注意：高可用策略不适用ALUA。因为CentOS7.4内核版本的target不支持ALUA属性。

重启multipath服务。

[td]

命令：    systemctl reload multipathd $ M% G' G! R  A! f) V9 P# ]

  t1 Y) t; y7 e+ `! U0 ?# @0 d6.3. 为iSCSI initiator配置CHAP信息

如果iSCSI client没有配置CHAP认证信息，则iSCSI initiator端也无需配置CHAP信息。

6.4. Discovery iSCSI target

例如 iSCSI gateway的IP是10.10.10.121

登陆iSCSI initiator端节点，然后执行命令：

[td]

命令iscsiadm -m discovery -t st    -p 10.10.10.121

* x, M5 V* ?+ i- i
6.5. Login iSCSI target

例如target的iqn为iqn.2003-01.com.redhat.iscsi-gw:iscsi-igwww

[td]

命令iscsiadm -m node -T   iqn.2003-01.com.redhat.iscsi-gw:iscsi-igwww --login ( Z7 {0 H& L4 d+ L  q

) e& r- X5 g* W% o6.6. 查看扫描出的iSCSI盘

如下在客户服务器上执行命令 ll /dev/disk/by-path/，查看到扫描的iSCSI盘映射为客户服务器块设备为/dev/sda 和/dev/sdb

( |/ `4 S6 K8 C9 }( ?, y2 X' D% `6.7. 查看multipath的iSCSI disk（由RBD image映射）
; N% H/ }1 V& {7 b6 j; h9 k- x7、附录一

Linux/CentOS 7.4及更旧版本，系统中struct tcmu_dev没有qfull_time_out成员。

【解决方法一】
1 P8 [+ I, H/ e$ i% r# ~3 |1 v( F, l- s

说明：lun.py中不设置qfull_time_out。

影响：存储异常时，业务可能由于iSCSI设备TCM_LOGICAL_UNIT_COMMUNICATION_FAILURE导致阻塞。

修改：vim ceph-iscsi-config/ceph_iscsi_config/lun.py

% S* Q( _( g2 b1 m7 C6 K

注意：修改后重启 rbd-target-gw 服务和 rbd-target-api 服务，就可以正常运行了。

【解决方法二】

说明：系统中struct tcmu_dev增加qfull_time_out成员。

影响：存储异常时，业务由于iSCSI设备被设置SAM_STAT_TASK_SET_FULL，及时返回失败，不阻塞。

内核patch：qfull_timeout : 参照http://www.oscube.cn/blog/page-11/

8、附录二

设置成不支持ALUA。

修改方法：vim ./ceph-iscsi-config/ceph_iscsi_config/gateway.py

& @( O- t1 X/ C0 Q. m1 M! j4 a

注意：修改后重启 rbd-target-gw 服务和 rbd-target-api 服务，就可以正常运行了。

% i3 N) ^, j$ R8 @% }& \" S! E" D
$ Q8 Q. c: ?* N