|
|
楼主 |
发表于 2021-8-2 08:52:21
|
显示全部楼层
在真机上创建一台新的虚拟机，常见好后不需要安装操作系统2 r0 s0 R0 Z9 _
# virsh list --all
' ~& s& T* F( v1 a; o6 [# h1
, R3 \8 ~$ {0 v' h2.5 libvirt secret
, C; o d3 l1 Y& S: r8 c+++++++++++++++++++++++++++++++++++++
! X3 q! t3 @) V- @( ~配置libvirt secret
3 w, J2 `4 n6 i9 O$ G9 dKVM虚拟机需要使用librbd才可以访问ceph集群
. z. q" N* Q9 O6 A( RLibrbd访问ceph又需要账户认证9 E8 V, V7 q7 W+ O2 n2 J
因此在这里，需要给libvirt设置账户信息
, d3 p$ `5 O" a' T s; z$ pa) 编写账户信息文件（真实机操作）
# J% g7 x2 Q4 @' `# vim secret.xml
, |8 b7 d: J7 q) v" G1 ~<secret ephemeral='no' private='no'>
/ I1 [6 `, n! c! P) @2 X <usage type='ceph'>
8 m" a7 }3 W5 m7 N4 y4 E <name>client.admin secret</name>& o9 b; q$ b6 Q. u1 C
</usage>4 G3 e- w$ [9 ]% T1 ]
</secret>
3 H! V, T7 I$ N6 s# ?0 h8 X! p, ]* @# |( i/ M. ?+ X1 ?% f% \
b) 使用XML配置文件创建secret( G; Q/ S' Z! @/ r' C
# virsh secret-define --file secret.xml
+ H2 I3 v+ o( V, t+ a. E4 g! h3 `% ~9 i7 i3 p
生成 secret 342b4a54-8a03-6b79-9ffc-84a8eac89e367 z3 x: C7 L% X! f" _) v
//随机的UUID，这个UUID对应账户信息
0 Y- e3 D- c: h7 n& I注：删除secret 的方法
1 i: b% R1 J2 \. Q# virsh secret-undefine 342b4a54-8a03-6b79-9ffc-84a8eac89e369 A1 ~) n+ r2 r3 H: o
. b4 H, B% \! rc)编写账户信息文件（真实机）
) P4 u6 L8 T# @5 r# ceph auth get-key client.admin
0 P r- b7 [ z) }
* @* g6 m# Z ~3 ?. V//获取client.admin的key，或者直接查看密钥文件/etc/ceph/ceph.client.admin.keyring
b7 r5 m m% Q2 I# md)设置secret,添加账户的密钥& C/ a4 N7 y5 p% o+ d
# virsh secret-set-value --secret 90833f12-c0a1-33f3-92ea-09d37eec3ec6
, c# k% B; l6 @( t4 x--base64 AQClRb9bvvkQHhAA0r2ihnFWR3JsBvgYJx7NAg==' L9 A$ j+ p& f( I1 l
//这里secret后面是之前创建的secret的UUID
/ J5 g9 c9 @8 e: r& }2 y3 M //base64后面是client.admin账户的密码; g' j5 r- i' B6 C! P
//现在secret中既有账户信息又有密钥信息5 R& q ^$ l2 p0 M; X( V( ?3 S
4 m' h5 { o6 S* _1 z$ \# z" x( q& te) 将之前没有操作系统的虚拟机avpc的配置文件拷贝一份，进行修改* G5 K& p2 ]9 a/ A
# virsh dumpxml avpc > /tmp/avpc1.xml
; v5 P" u$ L7 ?% ~7 u% p5 ?/ w: n/ P$ b* J
虚拟机的XML配置文件 Z+ E) Q' c- O
每个虚拟机都会有一个XML配置文件，包括：: M) c& u! w# [4 }' H% o/ M
— 虚拟机的名称、内存、CPU、磁盘、网卡等信息. p. N; K1 B. f# ? M% t5 ?, p5 O' Z
修改之前：) d$ E+ ^; v$ `5 {: f: E
# vim /etc/libvirt/qemu/avpc.xml
/ q0 D v# G/ Q: P7 C* d O, a* R; `# o- Y
9 P! k7 f) H* I: ?* Q' l( \" e$ M
# vim /tmp/avpc1.xml4 \7 C0 ~" E9 Z# l% y
" E: x4 c3 l, _% M6 X; f7 ?+ n8 |* q
删除下图中的 uuid这一行4 s! I/ S% _' T
继续在文中修改：内容如下：+ y! u( n3 @) w" y# M2 b
37~43行之间的内容是手动添加的，其中红色部分时需要根据实际情况进行修改9 V5 Q9 s S; ^
<auth …/>
# E% ?, ?7 j1 q% ?- c+ _5 P" ]username:0 X+ H- i( ^( Y; G4 ~
# cat /etc/ceph/ceph.client.admin.keyring（在此文件中获取）9 W9 E3 Q( d/ r7 ~
) }+ j+ X0 j& v W) Ouuid调取：
1 a" r, ~5 G( Q2 |) D6 |. ~# virsh secret-list（之前生成的）
# Z6 f0 l6 j9 [2 k6 K9 G<source ............/>
3 k, r3 i3 }! I/ C. _7 P1 d" t" P1 i* ?
name获取：
8 E8 B/ {+ F- v# M2 n1 z# rbd list
: O; { m4 L( S+ D$ q, g<secret type='ceph' uuid='90833f12-c0a1-33f3-92ea-09d37eec3ec6'/>
' S% i _1 r6 c6 ? //这里的uuid就是secret的uuid，有client.admin账户和密钥信息1 B. P; q! f' Z
<source protocol='rbd' name='rbd/vm1-image'>& |" g2 i5 L6 a. e$ d+ }; m
<host name='192.168.8.51' port='6789'/>
0 N! [9 }3 e4 P( i, n# j/ K </source>2 N2 o# Q8 b* s4 b
//这里说明使用账户连接那台ceph主机和端口，访问哪个池和镜像5 }3 y) m$ F* c% ?) b) P+ t
<target dev='vda' bus='virtio'/>, i+ d- x3 ?9 A( o0 K& R
//这里说明经获取的镜像，设置为虚拟机的vda磁盘
$ t! C- I& d; `7 X9 a7 S
8 ^% y: F0 B- K$ V1 e8 A根据配置文件生成虚拟机
5 i( v) r! y1 c% G' u" i( c使用编辑好的虚拟配置文件/tmp/avpc1.xml 创建虚拟机
" h/ W3 r# o, E- D' H#virsh define /tmp/avpc1.xml4 d8 I: `! b6 @+ ]$ O
5 V: d! ~; m4 t定义域 avpc1（从 /tmp/avpc1.xml）
6 P! m g4 g4 s" P4 `' l# virsh list --all& A& I7 ~- Y A3 E1 N
- c& |% ]8 m2 }5 I9 B3 `
' U# D: ?9 e' u; G分布式文件系统存储
$ l5 }" }: a" r" S5 l0 BCephFs—— 分布式文件系统（Distributed File System）是指本地文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连: m5 G, [; k% H$ y g+ e9 O5 J
CephFS使用Ceph集群提供与POSIX兼容的文件系统 K4 N8 e( j) l) {; Z9 w$ X
允许Linux直接将Ceph存储mount到本地( w' C1 K( P. _' r* r9 o( R
环境准备：新添一台虚拟机node4
' z4 T7 l. ?6 V! r7 |7 I9 }6 F9 ?- w( n0 C# _+ G1 H+ F5 t
元数据服务器
4 f0 m/ B( F' Y— 任何文件系统中的数据分为数据和元数据) F* M: H! N- d' @+ V' i
— 数据是值普通文件中的实际数据" q! D$ w0 }; k' n' g1 r0 a
— 而元数据指用来描述一个文件的特征以及文件数据快的分布信息
/ ?+ e. Q" C R2 \0 b q# ~— 比如：访问权限，文件拥有着以及文件数据块的分布信息4 _8 a2 [" E. V. S' k! M' z; C/ I
— 所以CephFS必须有MDSs节点
g# y% u. b' N7 q+ h6 {2 l部署元数据服务器：
+ \9 n; n6 n: ^% K* w* `% m在node4上装ceph-mds软件包
5 U. c1 B4 S; J" \8 A4 [+ n' P# yum -y install ceph-mds2 b: w) y. P" M, O! B% R; Z, |
6 k2 j1 h/ e( k" n9 U在管理主机node1上部署节点（创建数据服务器）) c+ B- D A" L$ u: {# [" U
# cd /root/ceph-cluster/ //此目录是在部署ceph集群时创建的
4 T1 @& p1 i1 R+ \6 R5 |" K: h+ o# ceph-deploy mds create nodex //给node4拷贝配置文件，启动mds服务器, T: \. i7 g1 g+ D
# ceph-deploy admin nodex //同步配置文件个key7 \/ Z+ e# b! E
, z8 }1 N5 i4 `* U: w& b$ B创建存储池9 E4 a5 v% @& J8 i) T
# ceph osd pool create ceph_data 128 //存储数据的池
% Q/ R& E9 N, u; ?# ceph osd pool create ceph_meatedata 128 //存储元数据的池
3 p1 f: m1 ^- n% B, S* U7 q; H" e$ |' Z2 v& X" M
使用前面创建的池，创建文件系统myfs1（名字可变）
8 g+ v+ J% [& |# Y( }/ R# ceph fs new myfsnew ceph_meatedata ceph_data, B4 m, {4 d# J6 u1 Y
3 r( Y8 R3 q: c7 i" q6 n: w
//先写medadata池，再写data池，默认只能创建1个池，多于会报错
9 |/ w! |- f0 p1 w7 Q' D' F: y! n& R6 S- W- ]" S/ o
U& H5 Q- a2 \1 J. J" l3 p
: E' K9 v+ h' g5 j
|
|
发表于 2021-8-1 19:22:53