5.5 Kubernetes使用Ceph作为Pod存储[color=var(--theme-color)]#ceph-csi版本kubernetes版本ceph版本# V6 w- B- r4 G7 Z- O1 ?) k3 i, }
cephcsi:v3.2.2v1.20.415.2.15 octopus (stable)" g1 V. X5 U, w4 K! I& f
1 PV 与 PVC 概述[color=var(--theme-color)]#(1) PersistentVolume(PV) 持久卷 对外部存储资源创建和使用的抽象，使得存储作为集群中的资源管理，PV又分为静态供给和动态供给，由于静态供给需要提前创建一堆PV，维护成本
$ g& S; i7 \+ R: j% @& h. p, }9 L较高，所以企业一般使用动态供给。(2) PersistentVolumeClaim(PVC)持久卷申请 让用户不需要关心具体的Volume实现细节，只需要定义PVC需要多少磁盘容量即可。(3) PV动态供给工作流程 [color=var(--theme-color)] 动态供给主要是能够自动帮你创建pv，需要多大的空间就创建多大的pv，k8s帮助创建pv，pvc就直接使用api调用存储类来寻找pv。1 D* Z! a |6 `2 ?; D: `: l* Q
如果是存储静态供给的话，会需要我们手动去创建pv，而动态供给主要的一个实现就是StorageClass存储对象，其实它就是声明你使用哪
- ?: a% B0 h# W7 [! G+ M个存储，然后帮你去连接，再帮你去自动创建pv。如果没有足够的资源，找不到合适的pv，那么pod就会处于pending等待的状态。
5 t8 [+ _2 p5 m1 D5 o! ]2 c9 G2 s3 z# h: P7 W* b
PersistentVolume 子系统为用户和管理员提供了一组 API，将存储如何供应的细节从其如何被使用中抽象出来。为了实现这点，引入了一些新的资源1 n. C& m% e& K' q. N+ A( U
和概念：
: ^8 i! f7 u! H' q# PV(PersistentVolume，持久卷)
5 k" C9 B, D7 f1 |0 I. f- J2 N是集群中的一块存储，可以由管理员事先供应，或者使用存储类(StorageClass)来动态供应。持久卷是集群资源，就像节点也是集群资源一样。- Y; m& k! T4 J1 @+ e
# PVC(PersistentVolumeClaim，持久卷申领)
0 V: t8 i. B& Q) {$ K; D+ J- S$ S表达的是用户对存储的请求，PVC申领请求特定的大小和访问模式的PV卷。
3 s. W& Y7 L) N4 r7 G+ j& s# StorageClass(存储类)% `0 `" r0 H, c! _
集群管理员需要能够提供不同性质的PersistentVolume，并且这些PV卷之间的差别不仅限于卷大小和访问模式，同时又不能将卷是如何实现的这些细节8 N/ m q# q, `) D2 f. W
暴露给用户，为了满足这类需求，就有了存储类(StorageClass)资源。
|/ M# z# C5 ~2 w( o2 @# volume) U. @9 _; q, C2 {
卷的核心是一个目录，其中可能存有数据，Pod 中的容器可以访问该目录中的数据。2 ceph-csi 自动供给程序[color=var(--theme-color)]#ceph-csi是ceph官方维护的PV供给程序，专门用于在Kubernetes中使用RBD、CephFS为Pod提供存储。. I N+ ^) H. O" Q( C
项目地址: https://github.com/ceph/ceph-csi3 Pod使用RBD块存储[color=var(--theme-color)]#[color=var(--theme-color)] (1) 关于部署，RBD YAML文件在"deploy/rbd/kubernetes"目录，需要做如下改动 1) 全部统一命名空间到 ceph-csi8 C c1 g4 a- q9 U- U$ A7 ?
2) 将镜像转存到 docker hub (由于使用的镜像在国外，国内无法下载，先FQ将其下载后放再放到docker hub上)/ y& N6 F9 m0 G; p1 H0 \
3) 增加 secret.yaml 和 storageclass.yaml 文件' B3 k- Z- z) j0 S% H$ I
4) 将 csi-rbdplugin-provisioner.yaml 和 csi-rbdplugin.yaml 中关于 kms 的配置注释掉(2) 在使用中，还需要根据自己集群环境修改 1) csi-config-map.yaml 修改连接ceph集群信息
7 G. Z: P' o6 m1 l j' q2) secret.yaml 修改秘钥
) j6 h3 X/ ^$ h5 D3 S3) storageclass.yaml 修改集群ID和存储池(3) 部署 [color=var(--theme-color)][url=] [/url]
6 B$ J0 b/ v0 c/ ] B% Y1) 从github上下载的yaml文件如下所示，然后全部统一命名空间到 ceph-csi[root@k8s-master1 rbd]# ls -ltotal 36-rw-rw-r-- 1 root root 331 Jun 18 17:39 csi-config-map.yaml-rw-rw-r-- 1 root root 1711 Jun 18 17:42 csi-nodeplugin-psp.yaml-rw-rw-r-- 1 root root 603 Jun 18 17:41 csi-nodeplugin-rbac.yaml-rw-rw-r-- 1 root root 1337 Jun 18 17:43 csi-provisioner-psp.yaml-rw-rw-r-- 1 root root 2923 Jun 18 17:41 csi-provisioner-rbac.yaml-rw-rw-r-- 1 root root 6876 Jun 18 17:42 csi-rbdplugin-provisioner.yaml-rw-rw-r-- 1 root root 5630 Jun 18 17:42 csi-rbdplugin.yaml2) 将镜像转存到 docker hubcsi-rbdplugin-provisioner.yamlcsi-rbdplugin.yaml3) 增加 secret.yaml 和 storageclass.yaml 文件[root@k8s-master1 rbd]# cat > secret.yaml << EOFapiVersion: v1kind: Secretmetadata: name: csi-rbd-secret namespace: ceph-csi stringData: userID: admin userKey: AQDwAsxgatvdARAAkf2inKyubNr/IbzgPhJyGg== EOF[root@k8s-master1 rbd]# cat > storageclass.yaml << EOFapiVersion: storage.k8s.io/v1kind: StorageClassmetadata: name: csi-rbd-scprovisioner: rbd.csi.ceph.comparameters: clusterID: 57026ab3-a596-4c79-a33a-08c37153d462 pool: rbd-k8s imageFeatures: layering csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi csi.storage.k8s.io/fstype: ext4reclaimPolicy: DeleteallowVolumeExpansion: truemountOptions: - discardEOF4) 将 csi-rbdplugin-provisioner.yaml 和 csi-rbdplugin.yaml 中关于 kms 的配置注释掉[root@k8s-master1 rbd]# grep kms csi-rbdplugin-provisioner.yaml#- name: ceph-csi-encryption-kms-config# mountPath: /etc/ceph-csi-encryption-kms-config/#- name: ceph-csi-encryption-kms-config# name: ceph-csi-encryption-kms-config[root@k8s-master1 rbd]# grep kms csi-rbdplugin.yaml#- name: ceph-csi-encryption-kms-config# mountPath: /etc/ceph-csi-encryption-kms-config/#- name: ceph-csi-encryption-kms-config# name: ceph-csi-encryption-kms-config[root@k8s-master1 rbd]# 5) csi-config-map.yaml 修改连接ceph集群信息# 修改连接Ceph集群的clusterID和monitors的地址[root@k8s-master1 rbd]# vim csi-config-map.yaml---apiVersion: v1kind: ConfigMapdata: config.json: |- [ { "clusterID": "14912382-3d84-4cf2-9fdb-eebab12107d8", "monitors": [ "172.16.1.31:6789", "172.16.1.32:6789", "172.16.1.33:6789" ] } ]metadata: name: ceph-csi-config namespace: ceph-csi注: 获取ceph集群clusterID的方法为[root@ceph-deploy ~]# ceph -s | grep idid: 14912382-3d84-4cf2-9fdb-eebab12107d86) secret.yaml 修改秘钥# 修改userKey[root@k8s-master1 rbd]# vim secret.yamlapiVersion: v1kind: Secretmetadata: name: csi-rbd-secret namespace: ceph-csi stringData: userID: admin userKey: AQArL5JhBEiAKRAAymBtomUPKP6M/BSI17oXyg==注: 获取ceph集群admin密钥的方法为[root@ceph-deploy ~]# ceph auth list | egrep "admin|key"client.adminkey: AQArL5JhBEiAKRAAymBtomUPKP6M/BSI17oXyg==7) storageclass.yaml 修改集群ID和存储池# 修改clusterID和pool参数[root@k8s-master1 rbd]# vim storageclass.yamlapiVersion: storage.k8s.io/v1kind: StorageClassmetadata: name: csi-rbd-scprovisioner: rbd.csi.ceph.comparameters: clusterID: 14912382-3d84-4cf2-9fdb-eebab12107d8 pool: rbd-k8s imageFeatures: layering csi.storage.k8s.io/provisioner-secret-name: csi-rbd-secret csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi csi.storage.k8s.io/controller-expand-secret-name: csi-rbd-secret csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi csi.storage.k8s.io/node-stage-secret-name: csi-rbd-secret csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi csi.storage.k8s.io/fstype: ext4reclaimPolicy: DeleteallowVolumeExpansion: truemountOptions: - discard注: 在ceph集群中创建rbd存储池的方法[root@ceph-deploy ~]# ceph osd pool create rbd-k8s 64 64[root@ceph-deploy ~]# ceph osd pool application enable rbd-k8s rbd[root@ceph-deploy ~]# ceph osd pool ls detail[root@ceph-deploy ~]# rbd ls rbd-k8s # 列表中没有创建任何rbd块设备8) 应用yaml文件[root@k8s-master1 rbd]# kubectl create namespace ceph-csi # 创建ceph-csi命名空间[root@k8s-master1 rbd]# ls | xargs -i kubectl apply -f {}[color=var(--theme-color)][url=][/url]
K! [. @& V/ m$ H
+ H. u3 ?9 ?* W+ ]. a; r, g7 u3 Y# R6 A4 X$ T1 w# y
(4) 检查 [root@k8s-master1 rbd]# kubectl get sc
$ F5 F! | l) gNAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE5 K0 a! C5 T9 w- A; w7 i
csi-rbd-sc rbd.csi.ceph.com Delete Immediate true 3m33s' K' C9 b" y' q3 N
- K; m S9 o* P+ k
[root@k8s-master1 rbd]# kubectl get pod -o wide -n ceph-csi
! T0 {+ b0 |& k: _$ pNAME READY STATUS RESTARTS AGE IP NODE # C0 T. j( A L* Y+ S4 i9 Q% s
csi-rbdplugin-95bs4 3/3 Running 0 6m31s 172.16.1.82 k8s-master2 . m$ t+ b4 J4 a* c
csi-rbdplugin-b9qnd 3/3 Running 0 6m31s 172.16.1.81 k8s-master1 * v# T9 r3 Z# Y4 P4 j6 y& \: a
csi-rbdplugin-pb82h 3/3 Running 0 6m31s 172.16.1.84 k8s-node2 . E% W1 B% F4 Q4 h7 k, {; V
csi-rbdplugin-provisioner-fc66bb6-rvhcd 7/7 Running 0 6m31s 172.27.169.138 k8s-node2
4 t2 i+ g' ]2 X% ?+ u( h2 Ucsi-rbdplugin-provisioner-fc66bb6-tgkpj 7/7 Running 0 6m31s 172.27.36.68 k8s-node1 % v+ C/ T- N: x6 ^0 Q: S2 e
csi-rbdplugin-provisioner-fc66bb6-wclzw 7/7 Running 0 6m31s 172.27.159.135 k8s-master1 " I+ e' T( n5 b6 \% \" w2 |/ N9 W
csi-rbdplugin-trffn 3/3 Running 0 6m31s 172.16.1.83 k8s-node1 8 f3 q8 y) h) i. e
[root@k8s-master1 rbd]# % I- S: C8 t. g8 G
4 I8 @+ J* d1 D0 J; f
# 可以看到ceph pv自动供给应用部署正常(5) 测试 [color=var(--theme-color)][url=][/url]4 V2 l/ n& N* e8 u5 B' `
[root@k8s-master1 ceph-dir]# cat > rbd-pod-test.yaml << EOFapiVersion: v1kind: Podmetadata: name: ceph-rbd-testspec: containers: - name: nginx image: nginx:latest volumeMounts: - name: www mountPath: /usr/share/nginx/html volumes: - name: www persistentVolumeClaim: claimName: ceph-rbd-test---apiVersion: v1kind: PersistentVolumeClaimmetadata: name: ceph-rbd-testspec: accessModes: - ReadWriteOnce storageClassName: csi-rbd-sc resources: requests: storage: 10GiEOF2) 应用yaml文件[root@k8s-master1 ceph-dir]# kubectl apply -f rbd-pod-test.yaml -n default3) 查看pod[root@k8s-master1 ceph-dir]# kubectl get pod -o wide -n defaultNAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATESceph-rbd-test 1/1 Running 0 36s 172.27.224.24 k8s-master2 <none> <none>4) 在ceph集群中查看rbd列表[root@ceph-deploy ~]# rbd ls rbd-k8scsi-vol-9fb06274-5d6e-11ec-8295-9e604dd3c50f[root@ceph-deploy ~]# rbd info rbd-k8s/csi-vol-9fb06274-5d6e-11ec-8295-9e604dd3c50frbd image 'csi-vol-9fb06274-5d6e-11ec-8295-9e604dd3c50f': size 10 GiB in 2560 objects order 22 (4 MiB objects) snapshot_count: 0 id: 47d8d58a5c095 block_name_prefix: rbd_data.47d8d58a5c095 format: 2 features: layering op_features: flags: create_timestamp: Wed Dec 15 14:17:04 2021 access_timestamp: Wed Dec 15 14:17:04 2021 modify_timestamp: Wed Dec 15 14:17:04 20215) 进入测试pod内查看挂载信息# 可以看到"ceph-rbd-test"容器内挂载了10G的硬盘rbd0到"/usr/share/nginx/html"目录上[root@k8s-master1 ceph-dir]# kubectl exec -it pod/ceph-rbd-test -n default -- bashroot@ceph-rbd-test:/# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 60G 0 disk |-sda1 8:1 0 200M 0 part |-sda2 8:2 0 2G 0 part `-sda3 8:3 0 57.8G 0 part /etc/hostssr0 11:0 1 1024M 0 rom rbd0 253:0 0 10G 0 disk /usr/share/nginx/htmlroot@ceph-rbd-test:/# exit6) 查看pv、pvc信息[root@k8s-master1 ceph-dir]# kubectl get pvc -o wide -n default[root@k8s-master1 ceph-dir]# kubectl get pv -o wide[root@k8s-master1 ceph-dir]# kubectl describe pvc/ceph-rbd-test -n default[root@k8s-master1 ceph-dir]# kubectl describe pv/pvc-fe43b3cd-a8a3-4642-9c50-208f675973f7[color=var(--theme-color)][url=][/url]+ r! v X5 C) n0 n& t
' g) u4 e3 ?% d1 H
4 o, B. }8 m9 u6 @' U5 g6 J- D
' @* O H0 Q0 n) o4 w' b! r0 Z! L9 w. U
图示:[color=var(--theme-color)] 7) 在线扩容功能: {6 V8 i1 N& ~, |
当修改rbd-pod-test.yaml文件中pvc的需求大小为20G后再应用，相应的ceph集群的rbd块会自动扩容，但不支持缩容的操作。4 pod使用CephFS文件存储[color=var(--theme-color)]#[color=var(--theme-color)] (1) 关于部署，CephFS YAML文件在"deploy/cephfs/kubernetes"目录，部署时YAML文件需做如下改动 1) 全部统一命名空间到ceph-csi-cephfs
1 S7 E2 i- x/ Y: w2) 将镜像转存到docker hub
* ], D2 d! f6 N w( H. s9 y3) 增加secret.yaml和storageclass.yaml文件(2) 在使用中，还需要根据自己集群环境修改 1) csi-config-map.yaml 修改连接ceph集群信息4 {; {# v/ x5 B0 |8 j3 Z6 z/ `
2) secret.yaml 修改秘钥' `2 e5 ~9 ^0 s: E/ r: _
3) storageclass.yaml 修改集群ID和文件系统名称(3) 部署 [color=var(--theme-color)][url=][/url]* h0 `+ e3 [5 u: _& L" |4 U
1) 从github上下载的yaml文件如下所示，然后全部统一命名空间到 ceph-csi-cephfs[root@k8s-master1 cephfs]# ls -ltotal 36-rw-rw-r-- 1 root root 5615 Jun 18 19:20 csi-cephfsplugin-provisioner.yaml-rw-rw-r-- 1 root root 5421 Jun 18 19:20 csi-cephfsplugin.yaml-rw-rw-r-- 1 root root 338 Jun 18 19:20 csi-config-map.yaml-rw-rw-r-- 1 root root 1760 Jun 18 19:20 csi-nodeplugin-psp.yaml-rw-rw-r-- 1 root root 646 Jun 18 19:20 csi-nodeplugin-rbac.yaml-rw-rw-r-- 1 root root 1383 Jun 18 19:20 csi-provisioner-psp.yaml-rw-rw-r-- 1 root root 3017 Jun 18 19:20 csi-provisioner-rbac.yaml2) 将镜像转存到docker hubcsi-cephfsplugin-provisioner.yamlcsi-cephfsplugin.yaml3) 增加secret.yaml和storageclass.yaml文件[root@k8s-master1 cephfs]# cat > secret.yaml << EOFapiVersion: v1kind: Secretmetadata: name: csi-cephfs-secret namespace: ceph-csi-cephfs stringData: adminID: admin adminKey: AQDwAsxgatvdARAAkf2inKyubNr/IbzgPhJyGg== EOF[root@k8s-master1 cephfs]# cat > storageclass.yaml << EOFapiVersion: storage.k8s.io/v1kind: StorageClassmetadata: name: csi-cephfs-scprovisioner: cephfs.csi.ceph.comparameters: clusterID: 57026ab3-a596-4c79-a33a-08c37153d462 pool: cephfs_data fsName: cephfs csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfsreclaimPolicy: DeleteallowVolumeExpansion: truemountOptions: - discardEOF4) csi-config-map.yaml 修改连接ceph集群信息# 修改连接Ceph集群的clusterID和monitors的地址[root@k8s-master1 cephfs]# vim csi-config-map.yaml---apiVersion: v1kind: ConfigMapdata: config.json: |- [ { "clusterID": "14912382-3d84-4cf2-9fdb-eebab12107d8", "monitors": [ "172.16.1.31:6789", "172.16.1.32:6789", "172.16.1.33:6789" ] } ]metadata: name: ceph-csi-config namespace: ceph-csi-cephfs注: 获取ceph集群clusterID的方法为[root@ceph-deploy ~]# ceph -s | grep idid: 14912382-3d84-4cf2-9fdb-eebab12107d85) secret.yaml 修改秘钥# 修改adminKey[root@k8s-master1 cephfs]# vim secret.yamlapiVersion: v1kind: Secretmetadata: name: csi-cephfs-secret namespace: ceph-csi-cephfs stringData: adminID: admin adminKey: AQArL5JhBEiAKRAAymBtomUPKP6M/BSI17oXyg==注: 获取ceph集群admin密钥的方法为[root@ceph-deploy ~]# ceph auth list | egrep "admin|key"client.adminkey: AQArL5JhBEiAKRAAymBtomUPKP6M/BSI17oXyg==6) storageclass.yaml 修改集群ID和文件系统名称# 修改clusterID、pool、fsName参数[root@k8s-master1 cephfs]# vim storageclass.yamlapiVersion: storage.k8s.io/v1kind: StorageClassmetadata: name: csi-cephfs-scprovisioner: cephfs.csi.ceph.comparameters: clusterID: 14912382-3d84-4cf2-9fdb-eebab12107d8 pool: cephfs_data fsName: cephfs csi.storage.k8s.io/provisioner-secret-name: csi-cephfs-secret csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-cephfs csi.storage.k8s.io/controller-expand-secret-name: csi-cephfs-secret csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-cephfs csi.storage.k8s.io/node-stage-secret-name: csi-cephfs-secret csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-cephfsreclaimPolicy: DeleteallowVolumeExpansion: truemountOptions: - discard注: 在ceph集群中创建rbd存储池的方法# 部署MDS服务首先要创建两个pool，一个是cephfs-data，一个是cephfs-metadate，分别存储文件数据和文件元数据，这个pg也可以设置小一点，这个根据OSD去配置。# cd /root/my-cluster/# ceph-deploy mds create ceph-node01 ceph-node02 ceph-node03# ceph mds stat # 查看mds节点状态3 up:standby# 创建存储池# ceph osd pool create cephfs_data 64 64# ceph osd pool create cephfs_metadata 64 64# ceph osd pool lsdevice_health_metricsrbd-k8scephfs_datacephfs_metadata# 创建文件系统格式: ceph fs new <fs_name> <metadata> <data># ceph fs new cephfs cephfs_metadata cephfs_data# ceph fs ls # 查看创建后的cephfsname: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]7) 应用yaml文件[root@k8s-master1 cephfs]# kubectl create namespace ceph-csi-cephfs # 创建ceph-csi-cephfs命名空间[root@k8s-master1 cephfs]# ls | xargs -i kubectl apply -f {}[color=var(--theme-color)][url=][/url]
! t3 C8 f" A+ b* b, e, ]% u( C0 _8 Z3 Y4 w7 c! F; R
8 a7 V+ ~6 I! I) X# B/ P
; |* p3 M: ^8 [5 q- `& U" V) H7 T, d9 ?" [- e: \- C; U
(4) 检查 [root@k8s-master1 cephfs]# kubectl get sc
; \! d# M1 n) i" PNAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE, D! O' w. L0 E X% C
csi-cephfs-sc cephfs.csi.ceph.com Delete Immediate true 2m44s) \- \; z- ]) |7 l0 s9 z$ |
' B1 Y* h7 u3 R I' \1 R[root@k8s-master1 cephfs]# kubectl get pod -o wide -n ceph-csi-cephfs* c5 O. x& F$ L* \+ [* C* o, a1 n$ Y! J' f
NAME READY STATUS RESTARTS AGE IP NODE
! I' g9 O( p {& C) F6 f1 pcsi-cephfsplugin-7kv9h 3/3 Running 0 5m35s 172.16.1.84 k8s-node2 I% |1 a! D" K! i% R+ R) E
csi-cephfsplugin-8zh5x 3/3 Running 0 5m35s 172.16.1.83 k8s-node1 " ~) B8 |1 r2 c* ^
csi-cephfsplugin-provisioner-7c454885fc-5xkm7 6/6 Running 0 5m33s 172.27.159.149 k8s-master18 u$ x0 I3 V) F" T
csi-cephfsplugin-provisioner-7c454885fc-75rn4 6/6 Running 0 5m33s 172.27.36.76 k8s-node1
/ t3 @# \+ o% ?4 u; Kcsi-cephfsplugin-provisioner-7c454885fc-wc6lv 6/6 Running 0 5m33s 172.27.169.154 k8s-node2
e9 s. ]: y* b5 {8 n% ~ H' Ucsi-cephfsplugin-skwnh 3/3 Running 0 5m35s 172.16.1.82 k8s-master2$ r5 P# t: }" I+ p) h# b
csi-cephfsplugin-vxlj5 3/3 Running 0 5m35s 172.16.1.81 k8s-master1
3 A. ^' o3 j& b U% @8 b" p3 ?8 f {! ~( T T( g
# 可以看到ceph pv自动供给应用部署正常(5) 测试 [color=var(--theme-color)][url=][/url]4 R: @$ t: y- r! @
1) 测试yaml文件[root@k8s-master1 ceph-dir]# cat > cephfs-deployment-test.yaml << EOFapiVersion: apps/v1kind: Deploymentmetadata: name: cephfs-pod-test spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx volumeMounts: - name: www mountPath: /usr/share/nginx/html volumes: - name: www persistentVolumeClaim: claimName: ceph-cephfs-test---apiVersion: v1kind: PersistentVolumeClaimmetadata: name: ceph-cephfs-testspec: accessModes: - ReadWriteMany storageClassName: csi-cephfs-sc resources: requests: storage: 10GiEOF2) 应用yaml文件[root@k8s-master1 ceph-dir]# kubectl apply -f cephfs-deployment-test.yaml -n default3) 查看pod[root@k8s-master1 ceph-dir]# kubectl get pod -o wide -n defaultNAME READY STATUS RESTARTS AGE IP NODE cephfs-pod-test-5d95fd8858-crjh8 1/1 Running 0 111s 172.27.224.26 k8s-master2cephfs-pod-test-5d95fd8858-dv96p 1/1 Running 0 111s 172.27.224.25 k8s-master2cephfs-pod-test-5d95fd8858-rlsw7 1/1 Running 0 111s 172.27.224.27 k8s-master24) 在ceph集群中查看cephfs信息# 命令行挂载cephfs文件系统[root@ceph-deploy ~]# mkdir -p /data/[root@ceph-deploy ~]# mount -t ceph 172.16.1.31:6789,172.16.1.32:6789,172.16.1.33:6789:/ /data -o \name=admin,secret=AQArL5JhBEiAKRAAymBtomUPKP6M/BSI17oXyg==# 查看volume，可以看到数据存储位置[root@ceph-deploy ~]# tree /data//data/└── volumes ├── csi │ └── csi-vol-c88b78ff-5d7f-11ec-8395-e64214c2d68a │ └── 6ab0685a-7414-4edd-9561-28bed0406035 │ └── index.html └── _csi:csi-vol-c88b78ff-5d7f-11ec-8395-e64214c2d68a.meta4 directories, 2 files5) 进入测试pod内查看挂载信息# 可以看到创建的3个pod共享了cephfs存储池[root@k8s-master1 ceph-dir]# kubectl exec -it pod/cephfs-pod-test-5d95fd8858-crjh8 -n default -- bashroot@cephfs-pod-test-5d95fd8858-crjh8:/# df -hTFilesystem Type Size Used Avail Use% Mounted on......(省略的内容)ceph-fuse fuse.ceph-fuse 10G 0 10G 0% /usr/share/nginx/htmlroot@cephfs-pod-test-5d95fd8858-crjh8:/# exitexit[root@k8s-master1 ceph-dir]# kubectl exec -it pod/cephfs-pod-test-5d95fd8858-dv96p -n default -- bashroot@cephfs-pod-test-5d95fd8858-dv96p:/# df -hTFilesystem Type Size Used Avail Use% Mounted on......(省略的内容)ceph-fuse fuse.ceph-fuse 10G 0 10G 0% /usr/share/nginx/htmlroot@cephfs-pod-test-5d95fd8858-dv96p:/# exitexit[root@k8s-master1 ceph-dir]# kubectl exec -it pod/cephfs-pod-test-5d95fd8858-rlsw7 -n default -- bashroot@cephfs-pod-test-5d95fd8858-rlsw7:/# df -hTFilesystem Type Size Used Avail Use% Mounted on......(省略的内容)ceph-fuse fuse.ceph-fuse 10G 0 10G 0% /usr/share/nginx/htmlroot@cephfs-pod-test-5d95fd8858-rlsw7:/# exitexit[root@k8s-master1 ceph-dir]# 6) 查看pv、pvc信息[root@k8s-master1 ceph-dir]# kubectl get pvc -o wide -n default[root@k8s-master1 ceph-dir]# kubectl get pv -o wide[root@k8s-master1 ceph-dir]# kubectl describe pvc/ceph-cephfs-test -n default[root@k8s-master1 ceph-dir]# kubectl describe pv/pvc-92064e70-8b2d-4abf-a705-4b51fb2a7ded[color=var(--theme-color)][url=][/url]
4 ~& K: S/ S( t6 ?7 r6 |. ^
" S+ y: j' }7 S+ @6 H: ?0 i, ~* k) B
. ~/ z2 s4 M& P' N/ a2 V @; i5 q0 n3 O
' V; V! ~& Z4 e2 _# v' t% Q; s6 l. D图示:[color=var(--theme-color)] 5 小结[color=var(--theme-color)]#(1) 图示[color=var(--theme-color)] (2) pvc，pv总结 官方文档:
7 X7 P" h' {0 }2 s" B4 N3 thttps://kubernetes.io/docs/conce ... lumes/#access-modes
' K8 D9 g, S4 w! F J2 d1) pv独立于pod存在，pv是全局资源，pvc是局部资源(在pod使用的命名空间下)。6 F# I6 x5 M% g8 J ^0 l- x9 b
8 V J' G4 z% h1 D. g+ |% b6 T$ t
2) pv可以创建动态pv或者静态pv，动态pv不需要手动去创建，静态pv需要手动创建。+ d( D% b. {; V) K" n) K& p; k
I) V& E p3 v* J, _- e7 t3) 访问模式
, r2 B8 [7 X9 i9 DReadWriteOnce # 卷可以被一个节点以读写方式挂载。ReadWriteOnce访问模式也允许运行在同一节点上的多个Pod访问卷。
* o; } c" q7 |8 f( m' xReadOnlyMany # 卷可以被多个节点多个Pod以只读方式挂载。
1 p- [: g j# }) `. p$ zReadWriteMany # 卷可以被多个节点多个Pod以读写方式挂载。
2 ^9 B7 |$ o4 {% h; }4 I. y0 cReadWriteOncePod # 卷可以被单个Pod以读写方式挂载。如果你想确保整个集群中只有一个Pod可以读取或写入该PVC，请使用ReadWriteOncePod
4 Z$ x0 M. B2 `# I# J% |访问模式。这只支持CSI卷以及需要Kubernetes 1.22以上版本。, o: F7 z. A- Q- v2 t( _
% }/ e& A" z- N/ E0 P1 J在CLI中，访问模式缩写为 RWO - ReadWriteOnce、ROX - ReadOnlyMany、RWX - ReadWriteMany、RWOP - ReadWriteOncePod
7 i3 q8 j8 V$ t5 I. z+ n8 U0 B3 l4 T; N0 E
4) pv回收策略1 F; |" a y# {" A# u
当用户不再使用其存储卷时，他们可以从 API 中将 PVC 对象删除，从而允许该资源被回收再利用。PersistentVolume 对象的回收策略告诉集' M' i2 u. ]3 R2 N2 F6 C
群，当其被从申领中释放时如何处理该数据卷，pv支持的回收策略有Retain、Recycle、Delete。pv静态供给和pv动态供给下，单独删除pod后; v1 l, R) b g; z: z% }
pvc不会被删除，使用"kubectl delete -f rbd-pod-test.yaml"或"kubectl delete pvc/pvcname"的方式会删除pvc。! U3 \0 }6 `4 @1 f$ E
) ?7 A8 N5 t# }4 W, X
pvc被删除后pv根据pv回收策略对pv和资源进行相应的操作，单独操作pv(例如: 删除)不会对pv资源产生影响。nfs只支持Retain、Recycle策略，% y' K S/ `! [% r
ceph只支持Retain、Delete策略。" Q/ x7 o; ?! E1 x
0 s1 q# q+ N4 M$ K! \- ?8 ?
# Retain策略(保留，默认策略)
' F; L# ?. `6 C* F在删除pvc后PV变为Released不可用状态，若想重新被使用，需要管理员删除pv，重新创建pv，删除pv并不会删除存储的资源，只是删除pv对象而& N% h. z# k$ K- z
已，若想保留数据，请使用该Retain策略。
8 P6 { B2 Z2 g9 O- w. s回收策略Retain使得用户可以手动回收资源，当PersistentVolumeClaim对象被删除时，PersistentVolume卷仍然存在，对应的数据卷被视为1 N3 c1 p% o ^2 S5 E4 N1 P
"已释放(released)"，由于卷上仍然存在着前一申领人的数据，该卷还不能用于其他申领，管理员可以通过手动回收该卷。使用命令编辑pv，删除/ k* V- Z% o' B9 D) M
绑定信息"claimRef:"下的"resourceVersion"和"uid"键，即可重新释放PV使其状态由Released变为Available(但是引用的pvc不变，删除
9 Y6 }8 u4 A l' J$ O9 `"claimRef:"的所有内容可以被其它pvc引用)编辑命令为"kubectl edit pv/pvname"。: C$ H9 _$ P% w& e9 d( _+ m' `
# ] j) N& W- Y# Recycle策略(回收)/ v8 v5 t- g$ I( f' F7 ^
删除pvc自动清除pv中的数据，效果相当于执行 rm -rf /thevolume/*，删除pvc时pv的状态由Bound变为Available，此时可重新被pvc申请- p2 F( r' |; x& E
绑定。警告: 回收策略Recycle会被废弃，取而代之的建议方案是使用动态供应。9 n& v) S3 l; z0 L4 N
$ q1 l9 l3 @& [2 K' P# Delete策略(删除)
3 ?4 @$ j# R& P在删除pvc后pv被删除并删除存储上的对应存储资源，例如AWS EBS、GCE PD、Azure Disk、OpenStack Cinder Volume等。3 v1 H, c, E' Q; ^% ^. U/ ?
对于支持Delete回收策略的卷插件，删除动作会将PersistentVolume对象从Kubernetes中移除，同时也会从外部基础设施(如AWS EBS、GCE PD、
# q" k6 p) c X- l$ k+ o+ R$ KAzure Disk、Cinder卷)中移除所关联的存储资产，动态供应的卷会继承其StorageClass中设置的回收策略，该策略默认为Delete，管理员需要根
/ Z% e* h) b. U- K) S据用户的期望来配置StorageClass，否则PV卷被创建之后必须要被编辑或者修改。
$ I$ a. k, u( ?; G修改方法:
# F* k# A5 }' Z* ]3 F0 z# kubectl edit pv/pvname. Z8 k1 s( C2 S2 Y
# kubectl patch pv <your-pv-name> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'
+ P! V8 f c: v( [; j9 g/ ]
' z& T6 D+ F- g5) storageClassName8 B- G( `6 L# A4 B7 ]2 w8 U
在pvc的请求存储大小和访问权限与创建的pv一致的情况下，根据storageClassName进行与pv绑定，常用在pvc需要和特定pv进行绑定的情况下。
, i9 M8 A# W: E; e: ^例如，当有创建多个pv、pvc设置存储的大小和访问权限一致时，且pv、pvc没有配置storageClassName时，pvc会根据存储大小和访问权限去随1 {( ]7 m7 P- i' \
机匹配，如果配置了storageClassName会根据这三个条件进行匹配，当然也可以用其他方法实现pvc与特定pv的绑定如标签。
; W7 y5 ]; w3 N |
发表于 2022-7-27 11:50:08