|
|
一、纠删码原理
7 @) J6 T# _# [/ H" |纠删码(Erasure Coding，EC)是一种编码容错技术，最早是在通信行业解决部分数据在传输中的损耗问题。其基本原理就是把传输的信号分段，加入一定的校验再让各段间发生相互关联，即使在传输过程中丢失部分信号，接收端仍然能通过算法将完整的信息计算出来。在数据存储中，纠删码将数据分割成片段，把冗余数据块扩展和编码，并将其存储在不同的位置，比如磁盘、存储节点或者其他地理位置。如果需要严格区分，实际上按照误码控制的不同功能，可分为检错、纠错和纠删3种类型。
' K+ y4 P; Y! A·检错码仅具备识别错码功能而无纠正错码功能。0 ~1 w O( d8 n) y& l
·纠错码不仅具备识别错码功能，同时具备纠正错码功能。: D4 X% I, u0 D& t1 B3 J8 D5 C
·纠删码则不仅具备识别错码和纠正错码的功能，而且当错码超过纠正范围时，还可把无法纠错的信息删除。
! j+ T/ H- C- [. t% k从纠删码基本的形态看，它是k个数据块+m个校验块的结构，其中k和m值可以按照一定的规则设定，可以用公式：n=k+m来表示。变量k代表原始数据或符号的值。变量m代表故障后添加的提供保护的额外或冗余符号的值。变量n代表纠删码过程后创建的符号的总值。当小于m个存储块(数据块或校验块)损坏的情况下，整体数据块可以通过计算剩余存储块上的数据得到，整体数据不会丢失。
% E: e: F8 O) u6 X8 q下面以k=2，m=1为例，介绍一下如何以纠删码的形式将一个名称为cat.jpg的对象存放在Ceph中，假定该对象的内容为ABCDEFGH。客户端在将cat.jpg上传到Ceph以后，会在主OSD中调用相应的纠删码算法对数据进行编码计算：将原来的ABCDEFGH拆分成两个分片，对应图11-2中的条带分片1(内容为ABCD)和条带分片2(内容为EFGH)，之后再计算出另外一个校验条带分片3(内容为WXYZ)。按照crushmap所指定的规则，将这3个分片随机分布在3个不同的OSD上面，完成对这个对象的存储操作。如图所示。
$ b v+ t. c2 _& n8 ?9 P下面再看一下如何使用纠删码读取数据，同样还是以cat.jpg为例。客户端在发起读取cat.jpg请求以后，这个对象所在PG的主OSD会向其他关联的OSD发起读取请求，比如主OSD是图中的OSD1，当请求发送到了OSD2和OSD3，此时刚好OSD2出现故障无法回应请求，导致最终只能获取到OSD1(内容为ABCD)和OSD3(WXYZ)的条带分片，此时OSD1作为主OSD会对OSD1和OSD3的数据分片做纠删码解码操作，计算出OSD2上面的分片内容(即EFGH)，之后重新组合出新的cat.jpg内容(ABCDEFGH)，最终将该结果返回给客户端。整个过程如图所示。0 g, i+ Y% M; a1 P+ _
虽然纠删码能够提供和副本相近的数据可靠性，并降低冗余数据的开销，整体上能提高存储设备的可用空间。但是，纠删码所带来的额外开销主要是大量计算和网络高负载，优点同时伴随缺点。特别是在一个硬盘出现故障的情况下，重建数据非常耗费CPU资源，而且计算一个数据块时需要读出大量数据并通过网络传输。相比副本数据恢复，纠删码数据恢复时给网络带来巨大的负担。因此，使用纠删码对硬件的设备性能是一个较大的考验，这点需要注意。另外，需要注意的是，使用纠删码所建立的存储资源池无法新建RBD块设备。
0 J7 ~7 N/ s9 K+ ]Ceph安装后默认有Default Rule，这个Rule默认是在Host层级进行三副本读写。副本技术带来的优点是高可靠性、优异的读写性能和快速的副本恢复。然而，副本技术带来的成本压力是较高的，特别是三副本数据情景下，每TB数据的成本是硬盘裸容量3倍以上(包括节点CPU和内存均摊开销)。纠删码具备与副本相近的高可用特性，而且降低了冗余数据的开销，同时带来了大量计算和网络高负载。
6 j Z( r0 l: ~; u" \ `4 m+ Q$ _7 f- \' a! c2 k6 V
# a; h4 s% J5 }; Q T二、纠删码实践3 d0 s' b: m1 f O+ J' l
纠删码是通过创建erasure类型的Ceph池实现的。这些池是基于一个纠删码配置文件进行创建的，在这个配置文件中定义了纠删码的特征值。现在我们将创建一个纠删码配置文件，并根据这个配置文件创建纠删码池。下面的命令将创建一个名为Ecprofile的纠删码配置文件，它定义的特征值是：k=3和m=2，两者分别表示数据块和校验块的数量。所以，每一个存储在纠删码池中的对象都将分为3(即k)个数据块，和2(即m)个额外添加的校验块，一共有5个块(k+m)。最后，这5(即k+m)个块将分布在不同故障区域中的OSD上。; k$ [4 z y0 F0 l6 L8 M
1、创建纠删码配置文件：- K$ \5 O, v% {$ Q7 j8 |: e
# ceph osd erasure-code-profile set Ecprofilecrush-failure-domain=osd k=3 m=2
' F# r' d, D8 @+ q9 _ H' e" n& D9 R9 l2、查看配置文件7 T- Y" R& \$ s( N/ L2 e
# ceph osd erasure-code-profile ls K) T; R, K4 u) C) e
Ecprofile1 E/ O- Y& b3 _& C/ X4 O1 n
default3 g9 w: O' j5 g1 i, V
# ceph osd erasure-code-profile get Ecprofile
! ]- Z) y" M6 s O4 B6 {crush-device-class=
# @* s9 i/ F( N9 h% s% `1 _0 ^, dcrush-failure-domain=osd
2 w; @3 o6 Z3 M7 M1 }4 k- Hcrush-root=default
+ j) @4 E( J r2 `3 vjerasure-per-chunk-alignment=false1 N$ N$ |7 c8 Z4 K1 N
k=3
0 y. C7 v R4 y! B4 \) Km=2
! K: [# \8 B' J, F/ Y4 Z7 S* m- A* pplugin=jerasure
5 F# b+ E$ y) `; qtechnique=reed_sol_van! I0 R1 p5 y2 ~2 D, |
w=8
) a) D t4 F% h+ }+ s我们顺便也看Ceph默认的配置文件2 n( e' @( A3 O/ H5 S7 b1 o) y" Y' Q2 Z
# ceph osd erasure-code-profile get default$ n! b3 L" S+ P2 `" J4 V
k=2
' [9 J3 {. O3 E6 N9 a& x; Rm=1' s; ^; f! B- i# i7 t- ^( ~
plugin=jerasure# |$ ^' Q, c1 v8 h0 g
technique=reed_sol_van
- Q0 f9 s* k, z t( \# H, X# E3、基于上一步生成的纠删码配置文件新建一个erasure类型的Ceph池：
8 h: u9 V/ Y. Q; d# ceph osd pool create testcpool 16 16 erasureEcprofile; [: X+ j, I% l- |7 c
pool 'testcpool' created
/ o" L! h" q; x# f/ J4、检查新创建的池的状态，你会发现池的大小是5(k+m)，也就是说，erasure大小是5。因此，数据将被写入五个不同的OSD中：; @8 y0 K; b) j# d2 J
# ceph osd dump | grep testcpool. P: f ?- v+ ^+ C, S
pool 8 'testcpool' erasure size 5 min_size 4crush_rule 3 object_hash rjenkins pg_num 16 pgp_num 16 last_change 231 flagshashpspool stripe_width 122883 ?- Y) { i: w, k3 H
5、现在我们创建个文件放到纠删码池中。8 }' u1 g9 L% z. g3 p2 n$ w3 _
# echo test > test
# q5 H3 K: w3 f+ \3 Y2 h9 o# ceph osd pool ls
5 q9 `3 \+ \1 z+ itestcpool
7 R# @$ z# m" _6 A7 ~ g! l# rados put -p testcpool object1 test2 z' x& r {4 y! I8 h* A
# rados -p testcpool ls) ~' ^' A' W+ S d) G: Q
object1
1 L Z( H& n* ]7 j. f ~6、检查testcpool池中和object1的OSDmap。命令的输出将清晰地显示对象的每个块所在的OSDID。正如步骤1)中说明的那样，object1被分为3(m)个数据块和2(k)个额外的校验块，因此，5个块分别存储在Ceph集群完全不同的OSD上。在这个演示中，object1一直存储在这5个OSD中，它们是osd.5、osd.1、osd.3、osd.2、osd.4。9 n( f6 Z7 S3 v. g1 U
# ceph osd map testcpool object1
% r D7 c3 L+ Sosdmap e233 pool 'testcpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([5,1,3,2,4], p5) acting([5,1,3,2,4], p5)
& G( T+ [/ z& R! C7 e. W1 u, A
3 X: _) ?4 t1 C三、纠删码测试
/ T& Z0 q7 V4 y$ H& u1、我们先来关闭一个osd
. }" n1 R6 `# \* d9 |! j5 p# systemctl stop ceph-osd@3 m& n7 y& F% I4 e4 r% Q: d
停止osd.3，检查testcpool池和object1的OSDmap。你应该注意，这里的osd.3变成NONE了，这意味着osd.3在这个池是不可用的：' S V) N+ _0 O6 `" c% C
# ceph osd map testcpool object19 N5 [9 U5 Z' l9 j$ W. n9 I7 T
osdmap e235 pool 'testcpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([5,1,NONE,2,4], p5) acting ([5,1,NONE,2,4],p5)
. k+ b1 r8 T- j2、我们再来关闭一个osd
/ z# n% d r$ k4 r; M# systemctl stop ceph-osd@5
4 |- a' O4 H+ P1 G0 v* P8 H停止osd.5，检查testcpool池和object1的OSDmap。你应该注意，这里的osd.5变成NONE了，这意味着osd.5在这个池是不可用的：
) o) P8 z) o# J6 v# V j# ceph osd map testcpool object12 n" m) \2 q. z, N
osdmap e237 pool 'testcpool' (8) object'object1' -> pg 8.bac5debc (8.c) -> up ([NONE,1,NONE,2,4], p1) acting([NONE,1,NONE,2,4], p1)
( w6 T, F4 {7 C$ E5 w0 m3、我们从纠删码池中下载文件8 P- m3 f4 k/ ]1 y7 A: _
## rados get -p testcpool object1 /tmp/devops5 T$ ]' [* Y! e/ v2 b, l
7 N+ r* ^( Z0 t) s1 z
$ ]" w5 j' l; L j) u9 z- |* P" V
/ T7 A7 v0 ]/ z3 U
|
|
发表于 2025-3-28 10:00:00