Centos 7.9 部署Ceph L版整理

admin

ceph L版已经发布很久了，官方说默认使用BlueStore作为OSD的存储后端，在Cephalocon APAC 2018上也是讨论的焦点之一。

提到BlueStore，不得不说一说Ceph的STORAGE DEVICES。

STORAGE DEVICES

Ceph守护进程将数据存储在磁盘上：

1 $ p. h+ p, N' J- t2 1 ?. Z2 ?+ s+ f! U0 `3 4 5 ) W8 U% w2 s7 c# q( P5 b, ~+ Z9 I# R% w6

Ceph OSDs ( Object Storage Daemons ) 9 }8 j6 W4 Q) c" Z" X    Client端的大多数数据写入Ceph后被存储的地方，一般而言，每个OSD都由单一存储设备支持，如传统硬盘（HDD）或固态硬盘（SSD）。     OSD还可以由多种设备组合，如存储数据的HDD和存储某些元数据的SSD（或SSD的分区）。 ! t' }" ]/ n8 E3 o  O- E! h& S    群集中OSD的数量通常取决于你要存储的数据量，还需要考虑每个存储设备的容量以及冗余级别和存储类型（replication或erasure coding）。 Ceph Monitor 2 `8 \5 ~5 L* ]! O. [    管理关键群集状态，如cluster membership和authentication信息。对于较小的集群，需要几千兆字节（几个GB），然而对于较大的集群，monitor的数据库可以达到几十甚至几百千兆（几十个GB甚至几百个GB）。

OSD BACKENDS

OSD可以通过两种方式管理存储的数据。从Luminous 12.2.z发行版开始，新的默认（推荐）后端是 BlueStore。在Luminous之前，默认（也是唯一的选择）是 FileStore。

BLUESTORE

BlueStore是专门用于Ceph OSD管理磁盘上的数据的专用存储后端。在过去十年间，受到了FileStore管理OSD经验的启发.
2 k9 ]6 V9 K' C4 h* Q+ h5 HBlueStore的主要功能包括：

1 6 y! l5 r' x, I) D; Y, S2 3 , _- {' i2 X! A. ?2 k4 6 l! \* S$ N5 f. s% j! I% ?5 ) i; r6 |) L) N( L6 7 " `% E; H; ?# T0 S4 k& z- E8 9 ; }# `& x# H1 l4 f10   I! J3 H3 V4 C# c11 - }: y% h! ^5 V2 }! H1 u2 U; L- W12 ( ]: t1 ^: `# Y) v' f  Y) y, A( D' G$ c13 ) Q9 ]: f5 [7 N) e) t( l6 n14 8 e# q1 o: ~- q# a" H3 O. x15 / Q* F! U0 k9 q$ i, U16 # R5 M* T4 v. t, ~17 3 r! g" m7 P: _; _2 S' Z5 _5 q2 z18 $ O# R9 F6 B) x3 }1 H) W0 `19

直接管理存储设备 ( Direct management of storage devices )     BlueStore使用原始块设备或分区。这避免了任何可能限制性能或增加复杂性的抽象层（如像XFS这样的本地文件系统）。 6 h7 s4 r8 }! M3 A# T: [ ! k( R. ?- n2 O  x' l使用RocksDB进行元数据管理 ( Metadata management with RocksDB )     为了管理内部元数据，我们嵌入了RocksDB的key/value数据库。例如在磁盘上，从object names到block locations的映射。 ! m, U' m9 R( Q9 x# \: m 完整的数据和元数据校验 ( Full data and metadata checksumming ) ; V2 A9 h) j: _8 V8 @! u; G9 M  Z    默认情况下，写入BlueStore的所有数据和元数据都受到一个或多个校验和的保护。没有数据或元数据在未经过验证的情况下，就从磁盘读取或返回给用户。 0 o( X! ]5 @0 `% ^  O 2 l8 [5 N9 A: r5 a/ b内置压缩 ( Inline compression )     写入的数据在写入磁盘之前可以选择压缩。 0 n, @+ Q1 |0 J! i  `! S+ v 多设备元数据分层 ( Multi-device metadata tiering )     BlueStore允许将其内部journal（预写日志，write-ahead log）写入单独的高速设备（如SSD，NVMe或NVDIMM）以提高性能。 - X4 w+ t- q% Y* \    如果有大量更快速的存储可用，则内部元数据也可以存储在更快的设备上。 高效的写时复制 ( Efficient copy-on-write ) % h$ k* ?2 u# L" a) |    RBD和CephFS快照依赖于copy-on-write clone机制，也在BlueStore中得到了有效的实现。这将为常规快照和erasure coded池提供高效的IO（依靠clone实现高效的two-phase commits） 2 ^& E; M' h1 h2 o# f5 \" d- [$ _ 9 N3 C# o1 N, T) [" a$ f1 w

http://docs.ceph.com/docs/master/rados/configuration/bluestore-config-ref/
http://docs.ceph.com/docs/master/rados/operations/bluestore-migration/

FILESTORE

FileStore是在Ceph中存储objects的传统方法。它依赖于标准文件系统（通常是XFS）和某个元数据的key/value数据库（传统上是LevelDB，现在是RocksDB）结合使用。
FileStore经过良好测试并广泛用于生产，但由于其整体设计和对传统文件系统存储object数据的依赖性，因此存在许多性能缺陷。
" H+ b8 q/ U0 \( x, `9 s+ }尽管FileStore通常能够在大多数与POSIX兼容的文件系统（包括btrfs和ext4）上运行，但我们只建议使用XFS。
btrfs和ext4都有已知的bug和缺陷，使用它们可能会导致数据丢失。默认情况下，所有的Ceph提供的工具都将使用XFS。

http://docs.ceph.com/docs/master/rados/configuration/filestore-config-ref/

在ceph L版代码结构改动比较大，增加了CEPH-MGR向外部监测和管理系统提供额外的监测接口，今天就用虚拟机搭建实验环境玩一玩。

环境信息

1   k, ?, Z8 j+ J% G. S+ K  `2 3 " z3 @. V$ P  X6 E' _& T4 5 6 3 i: Y" _) W! g7 3 k& y( v8 f5 l8 / h' r1 \0 {4 W$ W9 $ m3 M0 O. g" f, p10 11 12 13 ) V3 C5 ]0 k+ p* C14 15 , H* r* o* w  {8 z! e, C9 s& P16 17 1 V) T3 ?- a0 m# S. n18 + Q5 c0 K7 C5 i6 K9 A

[root@cephL ~]# yum install -y redhat-lsb [root@cephL ~]# lsb_release -a LSB Version:        :core-4.1-amd64:core-4.1-noarch:cxx-4.1-amd64:cxx-4.1-noarch:desktop-4.1-amd64:desktop-4.1-noarch:languages-4.1-amd64:languages-4.1-noarch:printing-4.1-amd64:printing-4.1-noarch ) `) l( q- ~* N( ?5 x; I, TDistributor ID:        CentOS ; o, A" M& `! a2 \) [* eDescription:        CentOS Linux release 7.4.1708 (Core) - a) l! Y# `1 I6 D/ zRelease:        7.4.1708 Codename:        Core 8 R5 ?. r+ r3 ?2 D[root@cephL ~]# lsblk NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT . {1 U6 L1 r- s. z% O* xsda               8:0    0   40G  0 disk ├─sda1            8:1    0    1G  0 part /boot └─sda2            8:2    0   39G  0 part . F8 p/ s! P6 j  ├─centos-root 253:0    0   36G  0 lvm  / ! {7 Y* z2 U( u/ e6 k  └─centos-swap 253:1    0    3G  0 lvm  [SWAP] sdb               8:16   0   30G  0 disk . @1 _; O; N. z1 ?! S. i* z: hsdc               8:32   0   30G  0 disk sr0              11:0    1 1024M  0 rom

安装安装pip和ceph-deploy

1 9 L8 \- ~( i0 e; ]6 z; W6 F2 3 4 ( i  T/ V& w- p4 ]4 V+ R& z. X0 ?5 6 6 n2 l; B2 z$ E7 / G) A! B% g4 T

[root@cephL ~]# curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py" - a2 Z/ s$ j3 K[root@cephL ~]# python get-pip.py [root@cephL ~]# python -m pip install -U pip 0 M5 V( e& |0 P& V3 c[root@cephL ~]# pip install --upgrade setuptools [root@cephL ~]# pip install ceph-deploy + U/ o) O6 Y0 A% S* a+ _# b[root@cephL ~]# ceph-deploy --version ' R5 t: y, C! H3 i- |! O2.0.0 # t; |- x0 O- O+ g' b

0 E2 b& u" ]7 Z安装ceph软件包

1 2	[root@cephL ~]# mkdir ceph-deploy && cd ceph-deploy [root@cephL ceph-deploy]# ceph-deploy install cephL --release luminous : ]2 K% R& k' ^+ O7 \/ Y  U' h

+ X0 H0 {' Q! k2 p' ?开始部署一个新的集群，然后为它写一个CLUSTER.conf和keyring

1 1 \# A5 q7 i- o; e* L

[root@cephL ceph-deploy]# ceph-deploy new --public-network 192.168.56.101/24  --cluster-network 192.168.56.101/24 cephL

9 _* L9 Q, O! z/ Q6 d! f部署MON

1 2 6 H5 ~( ~; j' V7 ^1 B3

[root@cephL ceph-deploy]# ceph-deploy mon create-initial [root@cephL ceph-deploy]# ceph-deploy mon create cephL ceph        1110       1  0 12:57 ?        00:00:01 /usr/bin/ceph-mon -f --cluster ceph --id cephL --setuser ceph --setgroup ceph ! c7 q& f  I8 o4 j

部署OSD

bluestore方法

1 2 ' b# w1 j3 O. T* V4 D: ~8 x4 P3 4 W- q' `3 G3 {' W3 s1 l3 @7 K2 Q. |4 8 {9 B% r% q9 K( ^% n% N8 e5 : i) Z3 ]4 m. v* i" M- K

# 在创建osd时，L版默认是bluestore / m8 |4 G8 b+ w3 t2 ?* I5 Y[root@cephL ceph-deploy]# ceph-deploy osd create --data /dev/sdb cephL ceph        1514       1  0 12:57 ?        00:00:01 /usr/bin/ceph-osd -f --cluster ceph --id 0 --setuser ceph --setgroup ceph [root@cephL ceph-deploy]# ceph-deploy osd create --data /dev/sdc cephL ceph        1518       1  0 12:57 ?        00:00:01 /usr/bin/ceph-osd -f --cluster ceph --id 1 --setuser ceph --setgroup ceph

% P! O3 l1 m, ~" G1 W3 P5 m* u" R

遇到问题

1 2 # X+ W6 v6 o6 U9 S  M3 4 : r+ S+ X+ p5 c3 D" n4 E) f( n3 ]5 6 7 0 p  y; r' L9 c1 s7 u  Q) L8 9 10 7 I: a! v) o# O4 {7 \: \* Q11 ; _7 P1 o* j5 D5 P! W12 13 0 ^  Y/ u% J( w6 R- s1 g14 ' `- Q) ]6 z2 C% }1 X9 S$ d15 16 17 18 : x% p  |% }+ }3 j/ A, V( J19 % W0 r+ v% `& P5 S20 5 V( x, g. D  b* f' z21 4 c0 ^, q3 ~3 Y) E# `, y' I22 23 , o5 m5 N% a+ w3 u; o! Y24

[root@cephL ceph-deploy]# ceph -s 1 v. G5 X3 C& x2018-04-10 12:00:19.660298 7fd1fe0ae700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory # q+ ^* q& I9 \0 H+ g2018-04-10 12:00:19.660310 7fd1fe0ae700 -1 monclient: ERROR: missing keyring, cannot use cephx for authentication ! @# L7 V: i$ T5 w+ Q# A' F2018-04-10 12:00:19.660312 7fd1fe0ae700  0 librados: client.admin initialization error (2) No such file or directory " P# b! ?9 J5 @. E3 R[errno 2] error connecting to the cluster 6 m" G3 s% i+ o! q" f [root@cephL ceph-deploy]# chmod +r * [root@cephL ceph-deploy]# cp ceph.client.admin.keyring /etc/ceph/ 7 E/ b" z& ?3 o! F2 k5 D! _9 q* p& n[root@cephL ceph-deploy]# ceph -s   cluster:     id:     765752b7-1f77-4d0d-bc18-936b8ad409fd     health: HEALTH_WARN             no active mgr   services: 7 B/ C) R0 y' p" i* n( z% N* c    mon: 1 daemons, quorum cephL # i+ h, M$ U9 l' l) E1 Z. V* e' \2 F7 X    mgr: no daemons active     osd: 2 osds: 2 up, 2 in " x; ~) Y" n& t* p) p   data:     pools:   0 pools, 0 pgs ; e, H8 X0 s1 [  m3 g    objects: 0 objects, 0 bytes 9 x8 N- @% @9 s% {( y* p    usage:   0 kB used, 0 kB / 0 kB avail     pgs:

) {/ z9 h1 s& J! D

filestore方法

1 2 ( _7 f7 G0 ^2 b% F& ^! G1 O5 s: y" `3 6 E" r% P6 n4 p4 $ Y1 M# X: l& z5 6 7 8 1 n; g  e8 _: h+ q( ~9 ; R' @1 j' G3 u  r2 I10 2 ?" |' S! ?: ]0 G! T+ J5 q% d/ Y11 12 13 14 7 i" q0 U1 i8 B8 T0 s; j' u8 m15 2 s8 A5 h. j1 j8 j/ H16 17 4 a; @2 p9 `0 `" w) v7 i) Q18 1 j" d) l( U1 g1 e' m- q2 w19 20 ( Q+ y5 o: y2 c  f3 @+ V& Y& h6 G* A21   i7 K) f/ S& R1 `( X  K9 g22 6 ]- l5 ]; g" x' f23 $ y  O2 B1 p. d24 25 26 27 3 ^& w' u5 N3 K- b1 a28 : U1 _2 c$ _, {4 _29 30 31 % {6 S/ I- c5 a  a/ p32 33 34 ( M" s  F0 r8 w: W- v2 h, h7 T35 36 37 0 P4 [8 E0 R2 V0 b38 9 q& n! m. d/ ?/ Y6 d$ O39 7 b$ `# t" e6 E40 41 42 43 ! s: V0 u2 K( o44 + q5 r, S! D% Y- T. M8 m45 / h0 j) R' x3 }# F! o5 }+ _46 47 48 49 / B- o9 V" z# W" T% o2 g50 4 c6 H! p. d8 S% ^51 " p& w9 N; W, H  _% K* O: s52 53 54 ; s* N0 @1 l/ G( {* b' z1 j. d55   ?: k6 A8 s4 |  r56 + E( m! [, z# g57 ( j3 a2 ?2 \3 |) _% b* ]  G/ O58 59 60 61 62 0 ~1 o% N6 g! Z: _( T5 r63 64 & u, H$ @! k. l2 y% s65 6 K, j0 t( z- U" b, R0 A# t5 Z66 ) N3 j5 v7 K( t+ ?5 m67 68 6 \" z  T% N% `: k1 E( Z' j69 70 71 72 73 74 ! N* s' b, v: w& r; g/ U; q; T75 # ^: v7 E* @$ l4 Q- |76 77 0 w$ f" Q  y* h9 `7 n) J2 K, z0 ~78 79 80 81 82 83 84 . N. x9 E. Y+ D; C85 86 7 E6 {" ~7 V% ]( A0 o* Y" Z) L+ M87 / i8 T; y: {: p. P$ G# w) g& ~2 ~88 ) r! A- O/ i0 N* O89 4 k' N4 ?7 a' P* ^  C! @$ {90 91 ! s1 {0 I7 t0 \( A5 o0 ?3 s92 4 s2 q, f% t% H( F93 ! m3 @1 M  W( I) O8 n- K94 95 96 97 98 99 7 R( O# ?- o/ M* @- S4 n  r( Y100 * |7 K6 Q" C9 J- ~' k/ X8 ]8 y101 # A4 ?: T4 D+ ]' X  n: C102 7 A8 p$ m  \. P, \103 104 105 ) i: f3 g+ r) T: Z7 l0 z106 107 108 # r: [: z" |& v. W) c" ?  Q3 |109 110 + m$ P! V. t& v. B# J; F, x111 112 113 4 `7 C( F  a: A3 ^8 R+ Y114 115 116 117 118 0 g- y3 _9 A* I; W3 g) F119 120 $ `6 I* H. C+ [  z; V121 122 / i  c6 Z$ U, u3 }123 124 ) ]$ {" l. _% A1 p$ F5 l0 d125 126 5 _/ z: S* E" b5 a) p127 128 129 130 + u4 E& q5 q- b, `2 u+ k' }9 `131 0 A5 S& m4 ^; q* ^* d( b' \132 133 " ^2 [, ]. L; ~134

# 如果是filestore则需要对data device和journal device先做GPT partition --data DATA           The OSD data logical volume (vg/lv) or absolute path to device --journal JOURNAL     Logical Volume (vg/lv) or path to GPT partition . P( L: [: P0 P2 f( C3 m8 i( j. N0 Z [root@cephL ceph-deploy]# fdisk /dev/sdb & ]0 ]; d' j5 I. lWARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion. 7 N* a+ }0 S3 Q欢迎使用 fdisk (util-linux 2.23.2)。 * d' Y* A  K: `) l" o# s* o更改将停留在内存中，直到您决定将更改写入磁盘。 使用写入命令前请三思。 ! L5 a3 Z6 X6 x% V! w1 k命令(输入 m 获取帮助)：g - O. R' t- ?) N+ s5 x9 y, I, tBuilding a new GPT disklabel (GUID: 80097CEF-475B-4161-ACC7-7164F6A39DD2) * Z! y1 B" }3 Q/ M命令(输入 m 获取帮助)：n 4 @' ]6 Q0 I) r) y7 q+ y- Y分区号 (1-128，默认 1)： 第一个扇区 (2048-62914526，默认 2048)： ' b4 f3 L8 T: H( d8 W1 XLast sector, +sectors or +size{K,M,G,T,P} (2048-62914526，默认 62914526)： 已创建分区 1 ; u& x2 r( v: C  m4 f命令(输入 m 获取帮助)：w The partition table has been altered! Calling ioctl() to re-read partition table. 正在同步磁盘。 & X  n- H. s0 R6 r[root@cephL ceph-deploy]# fdisk /dev/sdc 5 \  d/ T' x1 H2 V$ A* MWARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion. 欢迎使用 fdisk (util-linux 2.23.2)。 更改将停留在内存中，直到您决定将更改写入磁盘。 7 J- Z4 @1 ~$ q$ G% j使用写入命令前请三思。 命令(输入 m 获取帮助)：g Building a new GPT disklabel (GUID: 21DFA98C-5BCF-40E7-A120-3DEDEA6600ED) ' M+ E! b& W2 n2 d命令(输入 m 获取帮助)：n ' T7 h& k1 U& b! ^- ?5 z分区号 (1-128，默认 1)： 第一个扇区 (2048-62914526，默认 2048)： Last sector, +sectors or +size{K,M,G,T,P} (2048-62914526，默认 62914526)： 已创建分区 1 命令(输入 m 获取帮助)：w $ J% ]0 E0 b  I8 |. TThe partition table has been altered! Calling ioctl() to re-read partition table. 正在同步磁盘。 / T4 P, M1 C1 d( l$ ]5 r7 x[root@cephL ceph-deploy]# lsblk " d8 A  Z3 V' h6 t" C* h0 o  dNAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT ) \( w# j/ A  _$ q* vsda               8:0    0   40G  0 disk ├─sda1            8:1    0    1G  0 part /boot └─sda2            8:2    0   39G  0 part " [' m. R, t3 h7 A2 T  ├─centos-root 253:0    0   36G  0 lvm  / : l( i- ?8 \, ?8 `. K; N6 b  └─centos-swap 253:1    0    3G  0 lvm  [SWAP] 0 D. Q7 s! X( u4 ^( D/ Msdb               8:16   0   30G  0 disk └─sdb1            8:17   0   30G  0 part sdc               8:32   0   30G  0 disk └─sdc1            8:33   0   30G  0 part : K' r' W. c2 i8 |sr0              11:0    1 1024M  0 rom   . q9 I/ B1 G7 n( o% L; Q[root@cephL ceph-deploy]# ceph-deploy osd create --filestore --fs-type xfs --data /dev/sdb1 --journal /dev/sdc1 cephL 9 |, p8 z% v0 z9 D; k, d, ][ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf 7 ]/ \6 }3 W% Z9 [[ceph_deploy.cli][INFO  ] Invoked (2.0.0): /usr/bin/ceph-deploy osd create --filestore --fs-type xfs --data /dev/sdb1 --journal /dev/sdc1 cephL 2 n% }: X1 X4 I2 L1 ]/ K0 t$ X$ O[ceph_deploy.cli][INFO  ] ceph-deploy options: [ceph_deploy.cli][INFO  ]  verbose                       : False 5 D3 O* b1 B1 y/ t+ O[ceph_deploy.cli][INFO  ]  bluestore                     : None [ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0x22c7320> [ceph_deploy.cli][INFO  ]  cluster                       : ceph [ceph_deploy.cli][INFO  ]  fs_type                       : xfs [ceph_deploy.cli][INFO  ]  block_wal                     : None : U. [5 T# `$ n# d[ceph_deploy.cli][INFO  ]  default_release               : False 0 i- f, Q3 }& q% J8 o  K! s[ceph_deploy.cli][INFO  ]  username                      : None [ceph_deploy.cli][INFO  ]  journal                       : /dev/sdc1 [ceph_deploy.cli][INFO  ]  subcommand                    : create [ceph_deploy.cli][INFO  ]  host                          : cephL [ceph_deploy.cli][INFO  ]  filestore                     : True [ceph_deploy.cli][INFO  ]  func                          : <function osd at 0x225ae60> [ceph_deploy.cli][INFO  ]  ceph_conf                     : None [ceph_deploy.cli][INFO  ]  zap_disk                      : False 3 Q0 m  n2 \/ d' ?[ceph_deploy.cli][INFO  ]  data                          : /dev/sdb1 , z; j# v9 @9 @5 ~5 F2 V[ceph_deploy.cli][INFO  ]  block_db                      : None 3 L% y9 ~) |/ \  @[ceph_deploy.cli][INFO  ]  dmcrypt                       : False [ceph_deploy.cli][INFO  ]  overwrite_conf                : False ' H7 p* ^8 s: H: r4 G( O2 Z5 M[ceph_deploy.cli][INFO  ]  dmcrypt_key_dir               : /etc/ceph/dmcrypt-keys   H4 b0 s7 z9 t[ceph_deploy.cli][INFO  ]  quiet                         : False [ceph_deploy.cli][INFO  ]  debug                         : False - @/ I0 g; k* E! c/ D: I[ceph_deploy.osd][DEBUG ] Creating OSD on cluster ceph with data device /dev/sdb1 [cephL][DEBUG ] connected to host: cephL [cephL][DEBUG ] detect platform information from remote host [cephL][DEBUG ] detect machine type [cephL][DEBUG ] find the location of an executable + f: y- S$ `. d. l+ ^[ceph_deploy.osd][INFO  ] Distro info: CentOS Linux 7.4.1708 Core 4 a2 Z  r! S" M" y. m6 G. [1 Y( d3 i[ceph_deploy.osd][DEBUG ] Deploying osd to cephL [cephL][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf [cephL][DEBUG ] find the location of an executable ' i1 _! j9 Y9 l: ~[cephL][INFO  ] Running command: /usr/sbin/ceph-volume --cluster ceph lvm create --filestore --data /dev/sdb1 --journal /dev/sdc1 [cephL][DEBUG ] Running command: /bin/ceph-authtool --gen-print-key [cephL][DEBUG ] Running command: /bin/ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring -i - osd new 8b7be4a6-b563-434e-b030-132880a10d31 [cephL][DEBUG ] Running command: vgcreate --force --yes ceph-8e2515c1-6170-4299-b82c-a5a47681f946 /dev/sdb1 ; W$ \7 h( P5 I/ w) ][cephL][DEBUG ]  stdout: Physical volume "/dev/sdb1" successfully created. [cephL][DEBUG ]  stdout: Volume group "ceph-8e2515c1-6170-4299-b82c-a5a47681f946" successfully created [cephL][DEBUG ] Running command: lvcreate --yes -l 100%FREE -n osd-data-8b7be4a6-b563-434e-b030-132880a10d31 ceph-8e2515c1-6170-4299-b82c-a5a47681f946 [cephL][DEBUG ]  stdout: Logical volume "osd-data-8b7be4a6-b563-434e-b030-132880a10d31" created. [cephL][DEBUG ] Running command: /bin/ceph-authtool --gen-print-key [cephL][DEBUG ] Running command: mkfs -t xfs -f -i size=2048 /dev/ceph-8e2515c1-6170-4299-b82c-a5a47681f946/osd-data-8b7be4a6-b563-434e-b030-132880a10d31 ! }" r/ \) k3 o! S[cephL][DEBUG ]  stdout: meta-data=/dev/ceph-8e2515c1-6170-4299-b82c-a5a47681f946/osd-data-8b7be4a6-b563-434e-b030-132880a10d31 isize=2048   agcount=4, agsize=1965824 blks - L% H4 T7 a5 ^) _8 G) c  `[cephL][DEBUG ]          =                       sectsz=512   attr=2, projid32bit=1 " {5 E+ o% `$ m# |[cephL][DEBUG ]          =                       crc=1        finobt=0, sparse=0 [cephL][DEBUG ] data     =                       bsize=4096   blocks=7863296, imaxpct=25 [cephL][DEBUG ]          =                       sunit=0      swidth=0 blks [cephL][DEBUG ] naming   =version 2              bsize=4096   ascii-ci=0 ftype=1 7 ]1 }: M$ a" v, c" N4 N, {' o  X[cephL][DEBUG ] log      =internal log           bsize=4096   blocks=3839, version=2 [cephL][DEBUG ]          =                       sectsz=512   sunit=0 blks, lazy-count=1 + i  Q- r9 |& k8 u: p" n[cephL][DEBUG ] realtime =none                   extsz=4096   blocks=0, rtextents=0 ; ]$ r6 E; x: W[cephL][DEBUG ] Running command: mount -t xfs -o rw,noatime,inode64 /dev/ceph-8e2515c1-6170-4299-b82c-a5a47681f946/osd-data-8b7be4a6-b563-434e-b030-132880a10d31 /var/lib/ceph/osd/ceph-0 [cephL][DEBUG ] Running command: chown -R ceph:ceph /dev/sdc1 [cephL][DEBUG ] Running command: ln -s /dev/sdc1 /var/lib/ceph/osd/ceph-0/journal [cephL][DEBUG ] Running command: ceph --cluster ceph --name client.bootstrap-osd --keyring /var/lib/ceph/bootstrap-osd/ceph.keyring mon getmap -o /var/lib/ceph/osd/ceph-0/activate.monmap [cephL][DEBUG ]  stderr: got monmap epoch 1 ; [1 R6 |) D- h* b# j2 U[cephL][DEBUG ] Running command: chown -R ceph:ceph /dev/sdc1 [cephL][DEBUG ] Running command: chown -R ceph:ceph /var/lib/ceph/osd/ceph-0/ [cephL][DEBUG ] Running command: ceph-osd --cluster ceph --osd-objectstore filestore --mkfs -i 0 --monmap /var/lib/ceph/osd/ceph-0/activate.monmap --osd-data /var/lib/ceph/osd/ceph-0/ --osd-journal /var/lib/ceph/osd/ceph-0/journal --osd-uuid 8b7be4a6-b563-434e-b030-132880a10d31 --setuser ceph --setgroup ceph [cephL][DEBUG ]  stderr: 2018-05-07 23:01:34.834993 7f315e466d00 -1 journal check: ondisk fsid 00000000-0000-0000-0000-000000000000 doesn't match expected 8b7be4a6-b563-434e-b030-132880a10d31, invalid (someone else's?) journal ' k. o* s; X; Q6 {" s2 h/ n[cephL][DEBUG ]  stderr: 2018-05-07 23:01:34.865621 7f315e466d00 -1 journal do_read_entry(4096): bad header magic 0 v, I2 F! o1 ?' H7 e; b* l% m[cephL][DEBUG ] 2018-05-07 23:01:34.865667 7f315e466d00 -1 journal do_read_entry(4096): bad header magic 7 A, n% z* e1 }2 Z8 d[cephL][DEBUG ] 2018-05-07 23:01:34.865988 7f315e466d00 -1 read_settings error reading settings: (2) No such file or directory [cephL][DEBUG ]  stderr: 2018-05-07 23:01:34.916284 7f315e466d00 -1 created object store /var/lib/ceph/osd/ceph-0/ for osd.0 fsid 39f3b85e-ee3c-4d8d-93c2-7f7c8aa47121 / g9 v6 L, Q# x# ^# T/ x/ S[cephL][DEBUG ] Running command: ceph-authtool /var/lib/ceph/osd/ceph-0/keyring --create-keyring --name osd.0 --add-key AQBDavBa0IPpIBAAlQxlaWxNrnTX/uaOMdZEQw== ! ^; z8 d0 P% @2 I+ d% j; w$ K[cephL][DEBUG ]  stdout: creating /var/lib/ceph/osd/ceph-0/keyring # B. a) _8 f% H; v[cephL][DEBUG ] added entity osd.0 auth auth(auid = 18446744073709551615 key=AQBDavBa0IPpIBAAlQxlaWxNrnTX/uaOMdZEQw== with 0 caps) , J8 M, l$ i, I' k$ J6 a7 |5 D6 J" K0 n/ U[cephL][DEBUG ] Running command: chown -R ceph:ceph /var/lib/ceph/osd/ceph-0/keyring [cephL][DEBUG ] --> ceph-volume lvm prepare successful for: /dev/sdb1 2 x$ D+ I& S1 f7 I' p, M; C[cephL][DEBUG ] Running command: ln -snf /dev/sdc1 /var/lib/ceph/osd/ceph-0/journal [cephL][DEBUG ] Running command: chown -R ceph:ceph /dev/sdc1 : e- l# k# b5 S. ^) {4 L[cephL][DEBUG ] Running command: systemctl enable ceph-volume@lvm-0-8b7be4a6-b563-434e-b030-132880a10d31 [cephL][DEBUG ]  stderr: Created symlink from /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-8b7be4a6-b563-434e-b030-132880a10d31.service to /usr/lib/systemd/system/ceph-volume@.service. " |9 c$ p+ \3 ], x( ^5 T( L[cephL][DEBUG ] Running command: systemctl start ceph-osd@0 5 J3 s8 R. ?! V6 r8 I[cephL][DEBUG ] --> ceph-volume lvm activate successful for osd ID: 0 5 R- C) T3 o  M3 l[cephL][DEBUG ] --> ceph-volume lvm create successful for: /dev/sdb1 [cephL][INFO  ] checking OSD status... [cephL][DEBUG ] find the location of an executable [cephL][INFO  ] Running command: /bin/ceph --cluster=ceph osd stat --format=json - q: J( m9 I$ d: e8 w- C[ceph_deploy.osd][DEBUG ] Host cephL is now ready for osd use. 9 m/ V6 B5 [. A; C8 G' J% f

' E6 T. a9 U' ^7 d0 S移除OSD

1 " e6 e) C; O6 |: A  Q2 3 * p$ D2 ~' `! {, Y2 I+ R4 ~4 ' F# }. M, }0 f2 G1 g  e! h5 6 7 8 & y# D+ O7 x7 U3 U' X9 10 11 1 a4 m' ?1 P  Y# _12 ( i% A. k7 t# s! Q

# 使OSD进入out状态   d6 D9 }% d: b5 ^[root@cephL ceph-deploy]# ceph osd out 0 marked out osd.0. # 观察数据迁移 [root@cephL ceph-deploy]# ceph -w 4 [- |$ a/ c9 @  H4 \# 停止对应的OSD进程 [root@cephL ceph-deploy]# sudo systemctl stop ceph-osd@0 # 清除数据 , ]: t, z, }) ]( }3 E[root@cephL ceph-deploy]# ceph osd purge 0 --yes-i-really-mean-it 6 B# ~3 Y3 h; m4 r' Spurged osd.0 # 在ceph.conf中移除osd配置 ; e2 w# T; T; h[root@cephL ceph-deploy]# vi /etc/ceph/ceph.conf

部署CEPH-MGR

1 2 2 ?6 r% Y7 |  I" S6 e% R3 e& v3 * s* j: {) T6 K3 R7 {4 9 w. k1 L& \- Q5 6 7 ; W5 ~4 `9 Z! x# u1 |5 a8 9 - w) l% X: X2 M% z: t* j" Y8 B4 \: M10

install netstat tool - K/ e& L9 n- ?6 g( v& V- Z[root@cephL ~]# yum -y install net-tools [root@cephL ceph-deploy]# ceph-deploy mgr create cephL:cephLMGR 8 b. v! d- g( n3 d, B: x5 X! `ceph        1111       1  0 12:57 ?        00:00:08 /usr/bin/ceph-mgr -f --cluster ceph --id cephLMGR --setuser ceph --setgroup ceph [root@cephL ceph-deploy]# ceph mgr module enable dashboard . P; X  T' J4 O7 P- Copen 7000 port ! V3 ]' @  j# Y8 q; x[root@cephL ceph-deploy]# sudo firewall-cmd --zone=public --add-port=7000/tcp --permanent 0 l1 z5 T" G1 a2 L' [[root@cephL ceph-deploy]# sudo firewall-cmd --reload

( U8 _; v5 @7 `& X

相关命令

1 9 t2 [' P: a/ ]2 3

[root@cephL ceph-deploy]# ceph mgr module ls & l5 e1 A! f( T3 J# g( H* b[root@cephL ceph-deploy]# ceph mgr services 6 X! w, A2 k, w* d1 z[root@cephL ceph-deploy]# ceph tell mgr help 2 @6 m! ?. `0 d) V

部署MDS并创建CEPH FS

1 2 ( E2 x# H8 W5 ~. Z! \

[root@cephL ceph-deploy]# ceph-deploy mds create cephL 4 M$ |5 o4 {! g$ B; [  p1 Xceph        2150       1  0 13:00 ?        00:00:00 /usr/bin/ceph-mds -f --cluster ceph --id cephL --setuser ceph --setgroup ceph ) V' s( [! g3 E

Ceph文件系统至少需要两个RADOS pool，一个用于存储数据，一个用于存储元数据。

配置这些pool时，可以考虑：

​ 对元数据pool使用更多的replication数量，因为该pool中的任何数据丢失都可能导致整个文件系统无法访问。

​ 为元数据pool使用SSD等较低延迟的存储设备，因为这将直接影响客户端上文件系统操作的延迟。

1 2 ( y+ C. Y! L7 c$ e" R/ ^% T. O3 4 # l4 U( k2 L3 S3 M5

ceph osd pool create cephfs_data <pg_num> 8 J1 X8 W: j7 d8 R( c+ Qceph osd pool create cephfs_metadata <pg_num> 例如： [root@cephL ceph-deploy]# ceph osd pool create cephfs_data 32 & I& ]6 W6 P, y- Z# F7 m. k[root@cephL ceph-deploy]# ceph osd pool create cephfs_metadata 32 # G$ W6 }4 A' v/ l# {) j5 v

更改pool的副本数

1 4 D) _1 L7 s. A2 ; F( r( I8 h5 H0 P: R7 u  g3 % J: Z; H* @4 R; U% m& Y) O: n4 . H7 ?8 K* ?, M

ceph osd pool set {poolname} size {num-replicas} 例如： [root@cephL ceph-deploy]# ceph osd pool set cephfs_data size 1 . J6 X5 n, H1 q7 A2 Q8 H[root@cephL ceph-deploy]# ceph osd pool set cephfs_data size 1

一旦创建了pool，就可以使用fs new命令启用文件系统：

1 2 3 ' S  b0 ?  v! g/ b% [

ceph fs new <fs_name> <metadata> <data> 例如： % S3 G* ~  {7 @6 c4 P; Fceph fs new cephFS cephfs_metadata cephfs_data

6 N3 a; J6 U3 M& S) v) P

一旦创建了文件系统，您的MDS将能够进入active状态。例如，在single MDS system中：

1 2	[root@cephL ceph-deploy]# ceph mds stat / w% O/ ~4 n8 h. fcephFS-1/1/1 up  {0=cephL=up:active} & r. |" t+ `% C6 E: f' N

一旦创建了文件系统并且MDS处于active状态，你就可以挂载文件系统了。如果您创建了多个文件系统，在挂载文件系统时，选择使用哪一个。

如果创建了多个文件系统，并且client在挂载时没有指定挂载哪个文件系统，你可以使用ceph fs set-default命令来设置client默认看到的文件系统。

挂载CEPH FS ( File System ) 有两种方式：

KERNEL DRIVER

要挂载Ceph文件系统，您可以在知道monitor主机IP地址的情况下使用mount命令，或使用mount.ceph utility将monitor主机名解析为IP地址。例如：

1 7 ~6 m2 C' p8 s' ]+ t2 ( M+ w* X1 I# l3 / Y4 t6 @2 x/ j, a9 ^2 [4 3 C7 v/ \* I, M; H' d$ f5 ' |5 [! Q# c9 e/ g5 s# M6 f6 5 f; E: ^9 ]5 w5 z: {" |: _7

sudo mkdir /mnt/mycephfs sudo mount -t ceph 192.168.0.1:6789:/ /mnt/mycephfs * d4 A1 i% e- x/ [, X' ^0 H例如： 0 C. h9 r2 Z8 i- \4 t' b( W+ }[root@cephL ceph-deploy]# sudo mount -t ceph 192.168.56.101:6789:/ /mnt/mycephfs mount error 22 = Invalid argument Ceph 10.x (Jewel)版本开始，如果使用kernel方式（无论是krbd还是cephFS）官方推荐至少使用4.x的kernel。 如果无法升级linux kernel，那么映射rbd请使用librbd方式，cephFS请使用fuse方式。

如果挂载Ceph文件系统时开启了cephx authentication，您必须指定user和secret。

1	sudo mount -t ceph 192.168.0.1:6789:/ /mnt/mycephfs -o name=admin,secret=AQATSKdNGBnwLhAAnNDKnH65FmVKpXZJVasUeQ==

上述用法在Bash history中留下了secret。更安全的方法是从文件中读取secret。 例如：

1 7 H) U$ r% k/ G: R) N# Q. {

sudo mount -t ceph 192.168.0.1:6789:/ /mnt/mycephfs -o name=admin,secretfile=/etc/ceph/admin.secret

如果您有多个文件系统，请使用mds_namespace选项指定要挂载的文件系统，例如-o mds_namespace=myfs

要卸载Ceph文件系统，可以使用umount命令。 例如：

1 2	sudo umount /mnt/mycephfs 提示：在执行此命令之前，请确保您不在挂载的目录中。 / {& G  x9 D, I

7 G6 f! J) Z) R+ t' C+ U2 S% _8 W

FUSE

在用户空间（FUSE）中挂载Ceph文件系统之前，请确保客户端主机具有Ceph配置文件的副本以及Ceph元数据服务器的CAPS keyring。

在您的客户端主机上，将Ceph配置文件从monitor主机复制到/etc/ceph目录。

1 ! ~; m% K! D* z  |: P) U) t2

sudo mkdir -p /etc/ceph 1 U; m+ V5 ^3 x5 F9 u0 I( N, Usudo scp {user}@{server-machine}:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

/ S/ Z, T: d8 b; }

在您的客户端主机上，将monitor主机的Ceph keyring复制到/etc/ceph目录。

1	sudo scp {user}@{server-machine}:/etc/ceph/ceph.keyring /etc/ceph/ceph.keyring ( t, U1 o, g# C) K6 {4 x  ^$ w, }- a

: i7 h% ^/ {) q% N' X0 Y

确保Ceph配置文件和keyring在您的客户端机器上设置了适当的权限（例如，chmod 644）。

要将Ceph文件系统挂在为FUSE，可以使用ceph-fuse命令。 例如：

1 . F$ W  s! T0 n9 T2 5 b% |. n) p, m2 S/ A

sudo mkdir /home/usernname/cephfs sudo ceph-fuse -m 192.168.0.1:6789 /home/username/cephfs

如果您拥有多个文件系统，请使用 –client_mds_namespace 命令行参数指定要挂载哪一个文件系统，或者向ceph.conf中添加client_mds_namespace设置。

要自动挂载ceph-fuse，您可以在system fstab中添加一个条目。此外还可以使用ceph-fuse@.service和ceph-fuse.target systemd units。通常这些unit文件为ceph-fuse描述默认的dependencies和推荐的execution context。例如使用ceph-fuse挂载到/mnt：

1 ! B5 ?# V# \' t/ o' W6 q/ C  t

sudo systemctl start ceph-fuse@/mnt.service

持久化挂载点可通过以下方式进行设置：

1 ! R+ U; S/ j7 M' u3 a; W

sudo systemctl enable ceph-fuse@/mnt.service + z9 k) F1 u8 S# K

部署RGW

Ceph Object Gateway原来叫RADOS Gateway，它是构建在librados之上的对象存储接口，为应用程序提供了一个RESTful gateway，用户可以通过HTTP协议访问Ceph存储集群。

Ceph Object Storage支持两个接口：

• S3-compatible：与Amazon S3 RESTful API中一些子集兼容的接口，提供对象存储功能。
• Swift-compatible：与OpenStack Swift API中一些子集兼容的接口，提供对象存储功能。
  
  

Ceph Object Storage使用Ceph Object Gateway daemon (radosgw)，它是一个HTTP server，用于与Ceph存储集群进行交互。由于它提供了与OpenStack Swift和Amazon S3兼容的接口，因此Ceph Object Gateway具有自己的用户管理。Ceph Object Gateway可以将数据存储在与Ceph Filesystem和Ceph Block Device相同的Ceph存储集群中。但是我相信在生产环境中不会这么做，如果数据量大的话会影响Ceph Filesystem和Ceph Block Device的性能，个人一般会独立出一个Ceph Object Gateway集群。S3和Swift API共享一个通用的namespace，因此您可以使用一个API编写数据并使用另一个API检索它。

1	Note：Ceph Object Storage 不使用 Ceph Metadata Server

+ Q1 n7 x/ j* G

1   n/ c# v  s3 z- C2 3 4 5 m, E+ q. V" o6 {5 7 Y4 e2 L6 G6 N* d& R: d1 j6   C( M2 U- L7 e% }* o7 8 9 7 B6 E5 U2 J1 P; H$ d  I/ Q. {4 \' {10 & Y1 B' l* e+ v2 H11 $ q% k: H! a. t$ Z0 m12 8 ]1 |0 p- `: s* a- c13 ' f* `5 K3 u: f: c8 Z4 g14 + A$ C; T9 @/ O, V15 16 17 9 {  r* |% l, M18 & h# i" k3 P3 \% h9 N; L19 20 $ U+ U$ |: r% m21 / L3 I, \7 x( S: N7 y22 / l. U( n9 o5 h9 O1 I3 C2 t2 r23 24

# 必须部署MGR，才能部署RGW ' @7 b# y1 p; u( E [root@cephL ceph-deploy]# ceph-deploy rgw create cephL:RGW root        2799       1  0 13:13 ?        00:00:00 /usr/bin/radosgw -f --cluster ceph --name client.rgw.RGW --setuser ceph --setgroup ceph % q! ^% v2 {# P% Z% D ) P7 W9 v& P) @# 重启RGW [root@cephL ~]# systemctl restart ceph-radosgw@rgw.cephL.service # x! I( f% i; ~[root@cephL ~]# systemctl restart ceph-radosgw@rgw 5 n# `: h4 N$ [6 `: \  w 问题一，这难道是ceph-deploy 2.0.0的坑？ [root@cephL ~]# tailf /var/log/ceph/ceph-client.rgw.log ) k. d0 N/ Q5 D$ R/ f% Q$ ~; {2018-05-11 22:30:31.999421 7f537c31fe00  0 ceph version 12.2.4 (52085d5249a80c5f5121a76d6288429f35e4e77b) luminous (stable), process (unknown), pid 3450 2018-05-11 22:30:32.021546 7f537c31fe00 -1 auth: unable to find a keyring on /var/lib/ceph/radosgw/ceph-rgw/keyring: (2) No such file or directory / O1 A4 p3 l& R- j. v' Q9 f0 I- w2018-05-11 22:30:32.021561 7f537c31fe00 -1 monclient: ERROR: missing keyring, cannot use cephx for authentication 2018-05-11 22:30:32.021563 7f537c31fe00  0 librados: client.rgw initialization error (2) No such file or directory 2018-05-11 22:30:32.022900 7f537c31fe00 -1 Couldn't init storage provider (RADOS)   E+ i4 I. A" F" v) ^ $ G7 @: R# w( N: H[root@cephL radosgw]# pwd /var/lib/ceph/radosgw [root@cephL radosgw]# ls , l% v9 Y# d% b. o. oceph-rgw.RGW + }5 a! s) E$ V: S( w[root@cephL radosgw]# mv ceph-rgw.RGW  ceph-rgw 5 D& Z, h: B# L" }& T  ~# b: l# }! @

7 t- `( d$ I  k. c# _配置变动

在L版中，删除pool的操作做了强制限制。需要在/etc/ceph/ceph.conf中加入相关参数才允许删除pool。

1 2 : d; s, q9 J; k4 ?3 O

# 允许删除pool，需要添加 mon allow pool delete = true 6 m, B: g/ ]* W9 P( _. |1 H

admin

实践步骤
获取代码并安装
git clone https://github.com/ceph/ceph.git
cd ceph
& J6 n8 V; n7 s# v7 j! M2 [git submodule update --init --recursive
./make-dist
rpm -bb ceph.spec
生成rpm安装包后进行安装,这个过程就不讲太多，根据各种文档安装上最新的版本即可，这个代码合进去时间并不久，大概是上个月才合进去的
配置集群
% X) b; ]3 `+ y$ r首先配置一个filestore的集群，这个也是很简单的，我的环境配置一个单主机三个OSD的集群
9 F) P9 Y' j$ `0 @% K, @[root@lab8106 ceph]# ceph -s
    cluster 3daaf51a-eeba-43a6-9f58-c26c5796f928
     health HEALTH_WARN
0 ^# V' D9 H  x: E& n            mon.lab8106 low disk space
6 `" s0 o- o1 s' R$ e     monmap e2: 1 mons at {lab8106=192.168.8.106:6789/0}
            election epoch 4, quorum 0 lab8106
/ W% L( A! i3 v' o        mgr active: lab8106
     osdmap e16: 3 osds: 3 up, 3 in
      pgmap v34: 64 pgs, 1 pools, 0 bytes data, 0 objects
            323 MB used, 822 GB / 822 GB avail
                  64 active+clean
[root@lab8106 ceph]# ceph osd tree
ID WEIGHT  TYPE NAME        UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 0.80338 root default                                       
- G+ h( n0 l7 s: @# r# s-2 0.80338     host lab8106                                   
1 f( z: T! d9 ?6 | 0 0.26779         osd.0         up  1.00000          1.00000
1 0.26779         osd.1         up  1.00000          1.00000
7 Z1 I  z) U1 S3 c$ V 2 0.26779         osd.2         up  1.00000          1.00000
8 Z" e7 x3 k& I' a$ E% A- B写入少量数据
[root@lab8106 ~]# rados -p rbd bench 10 write --no-cleanup
! K" Y2 ]$ z. @4 |) X! D  y! C7 U设置noout
[root@lab8106 ~]# ceph osd set noout
' k8 E' F) F# y- Q0 Cnoout is set
停止OSD.0
8 h2 J/ f* R' A8 L[root@lab8106 ~]# systemctl stop ceph-osd@0
$ U* o0 a, B5 p3 s4 m/ l[root@lab8106 ~]# ceph osd down 0
osd.0 is already down.
3 M) ?' [5 `9 U将数据换个目录挂载，换个新盘挂载到原路径
[root@lab8106 ~]# mkdir /var/lib/ceph/osd/ceph-0.old/
[root@lab8106 ~]# umount /var/lib/ceph/osd/ceph-0
[root@lab8106 ~]# mount /dev/sdb1 /var/lib/ceph/osd/ceph-0.old/
[root@lab8106 ~]# mount /dev/sde1 /var/lib/ceph/osd/ceph-0/
[root@lab8106 ~]# df -h|grep osd
/dev/sdc1       275G  833M  274G   1% /var/lib/ceph/osd/ceph-1
/dev/sdd1       275G  833M  274G   1% /var/lib/ceph/osd/ceph-2
/dev/sdb1       275G  759M  274G   1% /var/lib/ceph/osd/ceph-0.old
0 f8 B- ?+ }1 |: ~/dev/sde1       280G   33M  280G   1% /var/lib/ceph/osd/ceph-0
( y. B( f+ s1 v0 @; q0 R在配置文件/etc/ceph/ceph.conf中添加
% l9 z2 f1 m' I, @$ D/ X% ]enable_experimental_unrecoverable_data_corrupting_features = bluestore
1 M+ F% r9 ~  \" }如果需要指定osd的block的路径需要写配置文件
在做 ceph-objectstore-tool --type bluestore --data-path --op mkfs 这个操作之前，在配置文件的全局里面添加上
bluestore_block_path = /dev/sde2
+ K' l; @9 i) E1 Q8 [8 I" ], _然后再创建的时候就可以是链接到设备了，这个地方写全局变量，然后创建完了后就删除掉这项配置文件，写单独的配置文件的时候发现没读取成功,生成后应该是这样的
[root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-0
total 20
lrwxrwxrwx 1 root root  9 May  3 17:40 block -> /dev/sde2
# I( d2 `. a' \( Y! s-rw-r--r-- 1 root root  2 May  3 17:40 bluefs
-rw-r--r-- 1 root root 37 May  3 17:40 fsid
-rw-r--r-- 1 root root  8 May  3 17:40 kv_backend
-rw-r--r-- 1 root root  4 May  3 17:40 mkfs_done
$ i% u  c$ u7 h; }1 N' C! W-rw-r--r-- 1 root root 10 May  3 17:40 type
) ?; b7 p' N: O' [4 d) [8 l. N# I; O* O如果不增加这个就是以文件形式的存在
获取osd.0的fsid
* M* y4 T: g* A9 A2 S/ J[root@lab8106 ~]# cat /var/lib/ceph/osd/ceph-0.old/fsid
b2f73450-5c4a-45fb-9c24-8218a5803434
/ i: g  n2 u) l9 |3 N5 Z( t创建一个bluestore的osd.0
* \$ o: q( p4 j[root@lab8106 ~]# ceph-objectstore-tool --type bluestore --data-path /var/lib/ceph/osd/ceph-0 --fsid b2f73450-5c4a-45fb-9c24-8218a5803434 --op mkfs
  N+ I( W0 a, P6 Z7 s转移数据
[root@lab8106 ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0.old --target-data-path /var/lib/ceph/osd/ceph-0 --op dup
[root@lab8106 ~]# chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
+ Q6 n3 h5 {8 r- S# d! p这个操作是将之前的filestore的数据转移到新的bluestore上了
2 \( n, m( {9 A启动OSD.0
[root@lab8106 osd]# systemctl restart ceph-osd@0
/ T6 ]+ R/ E7 m9 k; ^+ g检查状态
5 X/ {* B( e- F4 M% B5 t' l& e$ m[root@lab8106 osd]# ceph -s
0 |5 _/ Y( t, P( }; u5 t- E2017-05-03 17:05:13.119492 7f20a501b700 -1 WARNING: the following dangerous and experimental features are enabled: bluestore
2017-05-03 17:05:13.150181 7f20a501b700 -1 WARNING: the following dangerous and experimental features are enabled: bluestore
- C0 s3 n/ ~1 ?. T2 n    cluster 3daaf51a-eeba-43a6-9f58-c26c5796f928
( v& J% a+ S, {2 i2 n) }) b     health HEALTH_WARN
& @4 L( B: x" [1 u' j8 E6 O            noout flag(s) set
' `" t5 _+ m, P3 W            mon.lab8106 low disk space
     monmap e2: 1 mons at {lab8106=192.168.8.106:6789/0}
+ g0 {/ ]4 g$ I- T( l+ {2 Y            election epoch 4, quorum 0 lab8106
, U3 {9 s5 c1 S4 `- y8 F        mgr active: lab8106
$ {0 b; Z* S- ?# M% a     osdmap e25: 3 osds: 3 up, 3 in
            flags noout
. g! Q6 e6 ^2 L* C+ s# A' ]2 Q      pgmap v80: 64 pgs, 1 pools, 724 MB data, 182 objects
# k* e( a9 A& d: O            3431 MB used, 555 GB / 558 GB avail
                  64 active+clean
成功转移
$ U0 s( _* `8 x* @5 L. e不同的block方式
[root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-0/ -al|grep block
3 V6 N; M9 x* A+ P/ b$ L! r-rw-r--r--  1 ceph ceph 10737418240 May  3 17:32 block
* m" i4 w/ R) {* `/ d: _[root@lab8106 ceph]# ll /var/lib/ceph/osd/ceph-4/ -al|grep block
lrwxrwxrwx  1 ceph ceph  58 May  3 17:16 block -> /dev/disk/by-partuuid/846e93a2-0f6d-47d4-8a90-85ab3cf4ec4e
/ \( t' |1 V# c5 e-rw-r--r--  1 ceph ceph  37 May  3 17:16 block_uuid
可以看到直接创建的时候的block是以链接的方式链接到一个分区的，而不改配置文件的转移的方式里面是一个文件的形式，根据需要进行选择
7 I1 J" F' \# {' h" v总结
# |9 B4 Z0 h" u2 @2 b+ d  w4 l转移 工具 的出现方便了以后从filestore到bluestore的转移，可以采取一个个osd的转移方式将整个集群进行转移，而免去了剔除osd，再添加的方式，减少了迁移量，可以一个个的离线进行操作
ceph的工具集越来越完整了

+ u. X# M' F" l% T+ W$ f