|
|
1 Proxmox Virtual Environment介绍
: f. R& M! x$ ]* ]. N( H1 b Proxmox VE 是用于企业虚拟化的开源服务器管理平台。它在单个平台上紧密集成了KVM虚拟机管理程序和LXC，软件定义的存储以及网络功能。借助基于Web的集成用户界面，您可以轻松管理VM和容器，高可用性群集或集成的灾难恢复工具。3 o$ v& y6 J! B5 f9 V
同时Proxmox VE对接Proxmox备份服务器，可实现对VM、容器的全量和增量备份，可显著减少网络负载并节省宝贵的存储空间。0 s- t# @. D! ~. F+ m, `& D
' q1 G3 }% w# a! w( g' w* E2 环境介绍
4 X" d+ F9 o, W4 n l3 L+ W' q 本文章所述环境采用3台物理服务器（含4口万兆网卡），1台万兆业务交换机，1台万兆管理交换机。
4 R( u, ^# i. a& p) L 注意：由于使用ceph搭建分布式存储，为保证性能，管理网络及业务网络强烈建议采用全万兆部署。
: X9 D2 q" [4 l$ D( k/ Q; f) g2.1 软件版本
/ P5 A) s9 S7 F4 S 本次部署采用当前最新版本：Proxmox VE 6.39 n p' ?2 s! S4 k; s
2.2 服务器配置
& F- J: f0 N- w w! D型号 配置 数量7 Y( }" r, e( k& Q
DELL R930 CPU：Intel® Xeon® CPU E7-8870 v4 @ 2.10GHz! I0 L- E; f7 D& K( [- b
内存：512GB& y2 k- r7 W5 @ \5 p
RAID卡：PERC H730P Adapter
! j% G p' t" {; ?) SSSD：1.5TB 4块
+ _# h* ]1 Q# W# G% rHDD：1.2TB 10块 3! v7 O0 T5 X9 ^/ G& K5 e8 c) f/ f
3 软件获取
% M8 n* s1 O% @, ? 访问官网下载ISO镜像文件9 M- @% R$ U" {
https://www.proxmox.com/en/downloads/item/proxmox-ve-6-3-iso-installer. q2 e- f1 y2 K
. p' D) e5 u0 V$ l! _ K4 RAID规划
8 P- `7 v% k9 t7 Z, [8 y4.1 系统盘
) l1 Q, W# c1 E 建议采用两块SSD组成raid 1，作为系统盘。
1 F* i; d! g, g4 Y8 L; I; G( @ 不同品牌服务器设置方法不同，请参照各品牌官方文档。
0 t* A" n) K- K# P$ K4.2 ceph盘
( e' Q+ V' V* q2 M5 x; h y5 ~ ceph不推荐基于raid盘创建osd，所以除系统盘外，其余磁盘全部设置为非raid模式。
7 ~& @! W- @( L' s8 \ 不同品牌服务器设置方法不同，请参照各品牌官方文档。
7 T$ `: d7 s9 e* V, l5 物理网络( A( I% H' {' V4 I; H9 I
生产环境对可靠性要求较高，所以建议采用链路聚合方式，将多个物理网卡绑定为一个逻辑接口，从而提高网络的性能及可靠性。' K" h: R& [6 W( B1 T
链路聚合可在以下三种模式中选择：
+ u& c7 `1 @8 X# O) q8 n 1，LACP（802.3ad）：基于LACP协议的链路聚合，此模式交换机需配置链路聚合，模式为lacp。% ^( E4 G, s, l+ |
2，静态聚合：静态链路聚合，此模式交换机需配置链路聚合，模式为静态（华为、H3C默认为此模式；思科为on模式）。+ o' i% L& E9 w+ _
3，Active+Backup：主备模式，网卡一主一备，主网卡故障时备份网卡接替主网卡工作，此模式交换机无需做链路聚合配置。7 R8 T, `- A+ j# B
若交换机支持LACP，推荐采用LACP模式。此处采用LACP模式进行演示。7 r P$ K6 B5 G, s
5.1 网络规划& F" L" o, o2 e2 U2 |
5.1.1 物理网络拓扑5 q8 w4 d/ Y9 r
( S5 m U k a
5.1.2 vlan及网段规划
" f; g( J3 `8 ]. D/ rvlan号 用途 IP网段 网关* f. [7 D$ Z4 \& i9 K8 P
1 管理 10.1.1.0/24 10.1.1.254
4 q; O$ }3 ?7 p5 y, D, q3 业务 10.1.3.0/24 10.1.3.254
! W8 I2 E! m6 b7 }0 u0 p! o% j4 业务 10.1.4.0/24 10.1.4.254
$ o% q1 M$ F- m5 业务 10.1.5.0/24 10.1.5.2546 h' g7 ^6 f5 K
5.2 网络配置6 @& z) k) `0 R j: B
以华为交换机为例。5 ^ L2 m4 R# P- i$ L
5.2.1 创建vlan：2 L9 @- @3 A, {/ s6 x$ I$ n
apache1 i4 J) n) M, v- f* s! \1 j
vlan batch 3 to 5 * g, f0 P; y2 v- V+ n* \
5.2.2 创建vlan-if（网关）：
9 H; [' z. J7 T/ C+ R, D& w' Aapache
& W" `$ P+ o0 j2 f* E6 V: p# binterface Vlanif1 //vlan1，管理网络网关! x+ E3 d0 z& a0 {5 i
ip address 10.1.1.254 255.255.255.0
! t1 g- p0 \1 f) Z; v$ \* c4 T. Rinterface Vlanif3 //vlan3，业务网络网关
2 w% G$ p; u n& G2 n ip address 10.1.3.254 255.255.255.0
5 G4 G# J0 ?( F! ]3 i% Q9 rinterface Vlanif4 //vlan4，业务网络网关
5 P* B: E) M7 @) g1 P6 t* T ip address 10.1.4.254 255.255.255.0
* O z8 O* L- [8 j% Dinterface Vlanif5 //vlan5，业务网络网关5 W2 a& N, @; q4 J ^: L- H+ ?
ip address 10.1.5.254 255.255.255.0" h" Z- f d, k* c; {
5.2.3 创建聚合接口（eth-trunk）：
" G4 F6 ?9 @: C, S5 e& Mapache
7 _) a1 E9 S, I" u& \interface Eth-Trunk101 //用于节点1管理口
1 ~0 Q& E$ O, Z- ~4 v! d description to-pve1-mgmt# N; d- Y- v0 g$ ?
port link-type access; Q% \0 k0 d0 K) r
mode lacp& U2 t$ t" D* z ]6 G' I' w; Z
#
7 @( M/ P) ^- F0 i6 `interface Eth-Trunk102 //用于节点2管理口
8 a. j1 s, v8 A2 F4 [ description to-pve2-mgmt
+ |" D% g2 `$ X3 L, f port link-type access
+ A0 j. X, u7 A# T/ @. { mode lacp; n* c' P* u" `5 ~' Q
#, n' e) R4 |, f2 k; H- s# T
interface Eth-Trunk103 //用于节点3管理口 F' D! U9 y6 G4 C' |5 K. h
description to-pve3-mgmt
: G$ d6 Q; K9 r7 O/ f% R2 Z port link-type access; V8 e: A1 ~% b" {# l
mode lacp7 l* }0 {/ d; B1 @2 \, \0 A$ b' P) V
#) r# r7 p; o4 C" x
interface Eth-Trunk104 //用于节点1业务口
% P* }2 r% n* v$ u' C T description to-pve1-yewu
& J6 e2 L3 c, j! V port link-type trunk
, L0 j! i8 F9 D1 } port trunk allow-pass vlan 2 to 4094) b; X7 D- j6 o: d( E2 T. h- n
mode lacp
5 G' M" t" R0 M#& Q: d" x4 a, V6 F! i% g0 y
interface Eth-Trunk105 //用于节点2业务口$ R$ R2 ]: [0 R1 r
description to-pve2-yewu
# E# \0 V z' v: U2 r& d port link-type trunk0 v# Z- E1 n7 D$ {. S' k0 W6 I
port trunk allow-pass vlan 2 to 40947 _( ~; x- E. J, a1 |2 b+ i# h
mode lacp
# c. y8 G- V7 u5 Q#
8 w; |/ G1 ]; f& q/ Finterface Eth-Trunk106 //用于节点3业务口+ Y1 v0 a/ ^& y
description to-pve3-yewu1 U9 Y7 @# T; S J8 Z- H, _
port link-type trunk; F3 W s. o' t1 o2 G
port trunk allow-pass vlan 2 to 4094
( d5 E8 l" ?. b& W4 q6 C! o, w mode lacp$ R8 u$ q% F7 S) c8 G
5.2.4 物理接口加入聚合接口6 x% `9 e3 E( R& F/ p. L. ^5 N
apache
- p' z6 _: k6 B# q4 X& l# ?interface GigabitEthernet0/0/10 //连接节点1管理口eno1$ M( H9 T. C5 G$ T! }8 Q4 Z, C
description pve1-mgmt-eno1
! u4 M# ^$ Z2 f- f7 k0 E! E eth-trunk 1014 `9 X* `/ R+ v* L+ G* q( z& {5 Q
#* U7 g1 G/ e j# f$ f l9 K8 k
interface GigabitEthernet0/0/11 //连接节点1管理口eno2
' O% g: [- m- E/ ?1 i) x description pve1-mgmt-eno2! U' F% H# B& `0 F) X" o6 h
eth-trunk 1019 t8 v5 X, l* l9 _7 ~$ Z
#
& m0 G& k3 u1 e+ Cinterface GigabitEthernet0/0/12 //连接节点2管理口eno1# e5 X7 U: \! n( H6 [& a* e e- Q
description pve2-mgmt-eno10 p, S7 v5 y- Z8 t
eth-trunk 1026 Q3 f# U, s T
#
( V6 L U# q8 }interface GigabitEthernet0/0/13 //连接节点2管理口eno2
: `1 h2 ?% G7 w: Y' M description pve2-mgmt-eno2
# o" _( \, [" V eth-trunk 102
- M G/ |/ n; H* Q. m/ r#1 |2 Y7 ]5 G Y: i4 s2 `& q
interface GigabitEthernet0/0/14 //连接节点3管理口eno1
; \5 W2 u# _) c2 G) b description pve3-mgmt-eno13 P) A, X" b% c8 [* w1 R5 q
eth-trunk 103
/ x+ B7 Q- F- C/ l#3 p# e1 I- F2 Z
interface GigabitEthernet0/0/15 //连接节点3管理口eno2/ P; h2 |$ u, M, j* J9 Z4 g# }
description pve3-mgmt-eno2
1 x* ]2 \$ H3 W& T# U eth-trunk 103! M3 i" O ^2 A5 p- R3 R
#
+ Z' I; ~% P& W" p [$ Qinterface GigabitEthernet0/0/16 //连接节点1业务口eno3
. _0 q) p( z. w! u4 Q+ n1 |: A description pve1-data-eno31 X; `+ k1 c% a
eth-trunk 1040 C- Z z- U% x. r# C: N- S7 j
#3 ^0 I: p4 E& ~* P( @" {
interface GigabitEthernet0/0/17 //连接节点1业务口eno41 p4 X4 [! B' t; N
description pve1-data-eno4! h$ f3 u2 r' A0 a1 r/ K
eth-trunk 104
" [5 _8 a1 }, `& r8 Z% t3 C#* ~. F" X3 C4 H) A5 y6 Z/ p
interface GigabitEthernet0/0/18 //连接节点2业务口eno3
) G# D' ~# a2 i+ m1 m% H& q description pve2-data-eno33 R8 G% h6 A8 B) V v
eth-trunk 1057 Z G9 j1 c* B: p- L
#
: x) B4 T1 u3 n+ J" ointerface GigabitEthernet0/0/19 //连接节点2业务口eno4$ N6 _% p Q# q9 G4 ~
description pve2-data-eno4' W% y8 g, U2 H2 l0 ?
eth-trunk 105 A& {% h: |- y6 g( Q/ A
#
( H+ e) d. q( i( \+ H3 W2 Q! T. Hinterface GigabitEthernet0/0/20 //连接节点3业务口eno3
7 I7 S1 Y2 W: }0 y7 n5 P, y description pve3-data-eno3* G' c$ n) _& e
eth-trunk 106. o: ^' I9 I2 X; X. {: }% s
#, G7 e% z% ~: c9 Z: Y) k
interface GigabitEthernet0/0/21 //连接节点3业务口eno47 F+ d5 v z$ S( K
description pve3-data-eno4
/ A$ a9 T% [& t# [4 | eth-trunk 106( q/ W: r9 t; K% B& B
6 PVE安装8 O. I4 v6 k" S* W, n( o+ i i
1，选择第一个选项，安装PVE% \# N9 N# J6 f. a* {# w/ Q6 y' j
2，同意协议
W/ l8 U( @9 m3 L* g3，选择系统盘0 L* T$ o1 o8 ]# Q, A; g+ q
注意：此处一定要选择RAID规划中创建的RAID 1系统盘% v2 r @0 x5 h+ K6 g& C, g! e
: p' Q( ~9 ]+ F( F% D2 V3 g4，配置国家、地区,
, x& @ l5 ]/ K0 q" P5 u5，配置密码、邮箱
! o. s- p* E( E* r如果为生产环境务必配置为强口令。邮箱建议配置为真实邮箱, @( S1 Y- ?6 G- Z
6，配置网卡、主机名、IP地址、DNS等信息
' A% |5 p0 A# f2 j0 e, E此处选择服务器第一块网卡，用于管理网络，按我们的规划应为eno14 A1 x* {8 f5 M' L
每个节点主机名不能相同，主机名可以参考以下规划，域名请按需配置。
9 \2 j) k$ z4 \3 S序号 主机名 域名6 z% j2 D; X' K' C' @8 I, w6 y
1 pve1 test.local
8 l; n4 {0 T, n7 t9 r2 pve2 test.local. P& R- t+ w5 t1 ? N2 h
3 pve3 test.local D3 `* k5 N0 ~1 W* l, H W+ U
主机名、IP地址等信息按实际情况配置，配置公网DNS，用于pve连接互联网。- l0 s, F! J- `- L( W8 r7 W! X
- S; y7 s9 Y' H) j9 ]6 ~
7，检查无误后点击安装。+ `! C9 E+ d; W1 x2 g. A0 z& G% I
+ V, s2 A5 R" B) T+ [ g
安装结束后重启，通过浏览器访问，出现以下页面证明安装成功。6 B6 g+ l5 P) c
地址：https://你的IP地址:80063 m+ I/ Q& i/ O0 L2 Y) `$ `3 Q
用户名：root2 _0 J9 F3 u7 G7 l/ v
密码：为安装时配置的密码。
, a; c; D: k6 D: S域：选择Linux PAM
' W& b" S& \: W& A# E' D8，按照此方法安装全部服务器。. V U$ O; _; V# L; |
7 更换软件源（三个节点都需要配置）6 G; a$ g) d+ l9 N: N' Z
由于自带的软件源速度较慢，此处选择科大源：http://mirrors.ustc.edu.cn! U. a" S. l1 O F
涉及的软件源有三个，分别为debain、pve、ceph，需要分别修改下列文件。& m& L+ x4 s: w8 i0 ^7 q l
名称 source文件路径
5 z. i2 g6 N0 kdebain /etc/apt/sources.list. ?( |4 f% J. X h9 d2 G
pve /etc/apt/sources.list.d/pve-no-subscription.list
( u. \, x* v! W1 n" Bceph /etc/apt/sources.list.d/ceph.list
$ U, `8 Y8 w1 m4 G: l8 {操作流程：
* L( L+ W6 D& A1 q$ Y: s1,通过web管理页面中的shell或ssh登录后台。' h; V$ s3 X$ F
0 O5 S: N" r7 _0 }! C- ]; p; M
2,更换debian源：
/ j4 y# M# C2 D" O4 Dawk
4 D, S% y, _2 k1 ]vi /etc/apt/sources.list' B; T$ E0 z! p" r
删除默认的源，替换为：
: ?& }# w# ]8 q; Cawk: G/ |/ h# R: E5 u4 [0 A; Q
deb http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
6 C4 {" L6 U* q3 I# deb-src http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free" p+ r" C" c8 [: F+ g
deb http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
# Q! l2 `" \! ?# deb-src http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free, y( K; j5 ^% d; H5 e
deb http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free) n1 ?- Q" H- |2 q2 b( _. r
# deb-src http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free' A; J6 A \' v$ @. _; N8 |, C
3,更换pve源为非订阅源：' L Z' R2 ]0 r4 j4 B- z
awk
1 U3 H% \! h7 o //备份默认源：2 L" c7 R# c( k' \
mv /etc/apt/sources.list.d/pve-enterprise.list /root% M8 m/ W/ U. A4 r H- J
//创建pve-no-subscription.list文件：
& }) z6 q( A2 ]1 N2 c' Zvi /etc/apt/sources.list.d/pve-no-subscription.list8 x, q0 I' n* _; ?- E! h# T- t
//增加以下内容：
) Y. P- j# U: g3 D! y+ i4 F* J1 Bdeb http://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription J; U, }+ U- j6 z2 V# j
4,更换ceph源" x6 P3 B4 X* l0 s) ^0 @
awk
5 t/ i( T6 s9 `8 l' Y. b% ~% b //创建ceph.list文件：6 Y% ^8 n/ N+ h
vi /etc/apt/sources.list.d/ceph.list
+ f4 D7 O# u1 z1 C //增加以下内容：+ p' O( \% U3 U& B
deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus buster main
& R4 z% a# g2 E+ F9 r# m' S5.更新软件列表5 A4 s2 y" C! t8 e3 G+ |
ebnf
& ]/ u! Q6 k: z( `3 a4 @; l* ? H1 Papt update* y2 t! n$ C7 W- o0 } s
8. 更新PVE至最新版本（按需）
0 ]1 S4 g( v7 k根据实际需求决定是否更新为最新版本。- r7 l6 @# i" l; H. o" h
如需更新三台节点都需要执行：: q7 N: ~9 T# B ?1 H
ebnf
" n! o* u3 q* J. aapt upgrade
# t% N" \9 ]5 h: U9 ~7 ~9 A9 基础配置（三个节点都需要配置）/ b( B) o! R* Z. b
9.1 安装ifupdown2/ d; J. N" j8 N: M4 m
此组件用于配置网卡后重启网卡操作：! g b8 ^) x* U: R' j `; w
apache }+ _6 U, }. S& t! g; J; `9 n7 }
apt install ifupdown2) Y: |4 m0 B1 b2 l% ?! Y
9.2 安装vim
2 l0 H% x! G4 f: T& @6 K$ Ecmake7 {# W2 W1 D+ B& W, P9 e0 Q
apt install vim! Y. H8 y/ n/ d( J5 @' h/ j
9.3 配置ntp服务
# [5 @2 [4 H! e. O5 ^8 j+ N# x& ]1,配置统一的时钟源
( G2 G+ O: T1 t5 M如果有条件建议在内网部署一台ntp服务器，所有节点与内网ntp同步时钟。9 ^* S) A* U$ W) m
如果没有内网NTP服务器，可以采用下列NTP服务器, p7 Z- a3 l I5 E3 n* H& k
stylus
6 D3 ~2 `8 K U! y& M6 r8 T8 j阿里云：ntp.aliyun.com
, H' H2 W3 J: ?国家授时中心：ntp.ntsc.ac.cn
& o+ R3 q* T6 Z! o+ Y ^ T2,将NTP取消注释，填写ntp服务器地址
( G, q+ m; \1 e) o# Aawk% B4 A4 ~' m+ j+ ]0 l$ ^$ [
vim /etc/systemd/timesyncd.conf
: f9 @! r2 r( Q5 }% K
8 T y( M1 w+ @: ] F# @ 3,配置完成后重启时间服务
& H, E K2 \( I0 @ebnf
' n- g3 \6 v# a+ ysystemctl restart systemd-timesyncd
% }' a+ ^0 v) F; t/ j O9 k$ Y10 PVE网络配置（三个节点都需要配置）* M9 x; |7 ^+ V
10.1 PVE服务器网络拓扑
3 n" _) E6 n& E9 Q8 p1 S放一张图有助于理解配置，可以结合5.1.1章节拓扑图理解。
9 g" h/ ]" |# O8 x6 ~) [8 q1 `. T2 W6 q* A; r5 |( [
10.2 管理网络7 {' _" B: [$ l1 P* i# j
1,编辑vmbr08 O3 S( b/ f/ G: q u5 ?/ m) I' z9 f
移除eno0，以便于将eno0加入到bond0中
; h, K. A; h4 H0 Q! d. m8 ~8 b+ @7 q删除桥接端口中的eno0，然后点击OK。6 p: `. O+ p. |: D( A4 G& n8 t
1 M8 G1 n- x# O+ V. a4 P4 g
2,创建bond0
+ @% {0 C, M6 ?点击创建Linux Bond。6 \0 B* q+ b$ ~
名称：bond0" o, {& i9 x) x7 \8 i
slaves：eno0 eno1
3 m4 f% [( @( [3 s/ q7 q# _模式：LACP (802.3ad)
, ]2 i9 |6 i+ m) P3 N5 DHash策略：layer2+3. G' N6 @1 {, o/ Q" H. Y" g6 |
按以上参数配置，然后点击OK。7 `2 t6 p( u& o5 ]* D- Q' q
/ g$ C. i2 g9 [# O5 E( E3 c
3,编辑vmbr0
R0 w f6 s3 ~( p- ^ D桥接端口配置：bond0。
. m* d+ Z2 M+ P! a% q0 g选中“vlan感知”选项，然后点击OK。
* q/ m* r( x1 f( A+ d8 Z; T
+ J1 e' D4 ]. i( L+ G( M) {4,应用配置
9 u( e i2 W) Q, L如果感觉配置有问题可以点击还原按钮，还原为配置前状态。
0 h8 \ p3 [/ s如果没有问题，点击应用配置使配置生效。
8 P! E- ]% f- q$ y: L- M$ D; Z网络配置不正确可能会导致无法管理节点，应用配置前请确认配置正确，如果出现无法管理的情况需要进入shell手动修改配置。, V1 {1 h2 T$ o) E- L
10.3 业务网络! I2 H& ^ N- h/ [+ R! L/ C
业务网络配置与管理网络类似。% \; R) r9 M9 k0 c1 K* X
1,创建bond1
2 V( f* H q7 ?2 p* ~0 O+ ~% f# L点击创建Linux Bond。, O0 U. ?' ^8 ~3 l; P- O, d5 L
名称：bond1
& c7 ~! }- ?' |' b' f% @, U" Rslaves：eno2 eno3
0 P8 p2 f& E/ U! E模式：LACP (802.3ad)5 i- o6 z+ G0 S5 L& j* d
Hash策略：layer2+34 }- q3 b- w+ Q9 k% j6 {6 f
按以上参数配置，然后点击OK。
. }" I; q- c; y' a0 K. q) Q. O
+ ]& W8 F* A7 D& p* [ 2,创建vmbr1- J7 t$ }! g+ d, ~( z( l% c, k
桥接端口配置：bond1。
) w6 P1 ?% i5 y9 C选中“vlan感知”选项，然后点击OK。
+ l0 b! F& j/ F6 }
b- k. c3 D, W$ J" S, h 3,应用配置* q' m( U7 T1 m+ E- J: [# d
点击应用配置使配置生效。
7 C- Y8 n A9 w10.4 网络配置检查9 c! l3 m& v. P: C
在交换机中检查聚合接口状态是否正常。; }$ y# J$ n0 ]5 L+ G p+ N0 j
apache
' r0 h/ w2 i7 Z3 C" U5 ?display eth-trunk 1012 a: M' X5 p4 h8 D9 i/ A, O6 V
display eth-trunk 102
' c% X7 F8 }6 {2 o0 @display eth-trunk 103
+ W' b% P% I0 H% e) L$ n5 v$ G* u4 Adisplay eth-trunk 104
5 m8 e+ k- {7 t( u; ?display eth-trunk 1050 i- w1 l7 e. L" d) y* E3 r
display eth-trunk 106
. j z8 d5 P8 S, T4 d* e查看所有eth-trunk接口状态，Status为Selected，则聚合接口正常。" {+ d8 `$ V4 N2 M
; B \. B# q1 `! ]; R( C" _- A- K11 集群组建
( o: G) f8 X6 _0 L* r创建集群，将三台节点加入同一集群。# b+ ]5 ^) r0 E7 I
1,在其中一个节点上点击，”数据中心“ — ”集群“ — ”创建集群“。: u4 }6 `: |: j/ L6 `
2,点击加入信息，复制加入信息。- i2 E$ o, w; Z) b$ m6 }, z" e' j
! H2 n ?% D$ Q$ Q3 c2 I7 Y& l
3,在其他两个节点上，点击加入集群，粘贴加入信息，然后输入第一台节点的root密码，即可完成加入。$ m2 F# `, a4 j5 B7 y+ M9 G' |
& h3 o9 k, T& a
4,加入集群完成后需要刷新页面才能正常使用，全部加入完成后，就可以在一个节点上管理集群中所有节点了。
( L& |3 n+ B9 l H, R/ W+ N! a1 w. L2 g- k0 }+ F
12 ceph
& y" b! P" }, U/ `: P' p; ^4 pCeph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。它可以将多台服务器中的硬盘聚合成一个集群，对外可提供文件存储、块存储、对象存储等多种形式，ceph的另一个特点是数据采用多副本方式存储，避免由于单点故障造成的业务中断和数据丢失。
" w) P$ j8 U, [PVE自带了ceph的图形化安装、管理工具，集群搭建完成后，可以快速完成ceph的安装、配置。同时pve也提供命令行工具，可以使用命令行对ceph进行自定义配置。* Y; j2 W0 q& t
12.1 ceph磁盘规划
3 E' r/ s8 I B我的环境中，sda到sdh为8块HDD硬盘，sdi到sdl为4块SSD硬盘。
+ N% Y0 w7 X" z% G0 H j- Z- L" Y为提高hdd的性能，我们将sdi作为所有hdd硬盘的DB盘，将sdj作为所有hdd硬盘的WAL磁盘。2 ^* K: d8 o2 r' k
请注意DB盘和WAL盘不能相同，如果只有一块SSD可以将SSD分为两个区，分别作为DB盘和WAL盘。
. B: U4 X1 x1 B9 T, U, k) M分区建议：根据PVE文档建议，DB盘容量=数据盘总容量10%，WAL盘容量=数据盘总容量1%，假设数据盘共8T，则DB分区容量需>800G，WAL分区容量需>80G，考虑到单位换算及损耗，需要适当增加容量，请根据实际情况规划。
2 `5 `7 W/ L! x- z详细规划如下：,' \/ y- T7 M$ Y8 U C# F6 u% l* i
物理路径 磁盘类型 DB磁盘 WAL磁盘 角色
! K7 U$ b; X. [- l! I# s2 r% r( H/dev/sda HDD /dev/sdi /dev/sdj 数据盘' u+ Y ~' k( E: o U
/dev/sdb HDD /dev/sdi /dev/sdj 数据盘
. i6 }# N1 b! D/ x. r8 a/dev/sdc HDD /dev/sdi /dev/sdj 数据盘
, b) v/ f/ P( r" C4 I/dev/sdd HDD /dev/sdi /dev/sdj 数据盘) [4 w, q. b9 E; m' Z/ b
/dev/sde HDD /dev/sdi /dev/sdj 数据盘
- H7 t; I4 C* R' V- J* P/dev/sdf HDD /dev/sdi /dev/sdj 数据盘
- E i1 g( w; b+ [- K7 Q/dev/sdg HDD /dev/sdi /dev/sdj 数据盘
: V5 J5 `% V1 l' c( p. W6 J+ o/dev/sdh HDD /dev/sdi /dev/sdj 数据盘
1 F9 s1 C5 J) I$ U7 c/dev/sdi SSD 不适用 不适用 DB盘2 O3 {6 @* x* _( u" y1 {) W
/dev/sdj SSD 不适用 不适用 WAL盘6 S% b9 D1 B4 \
/dev/sdk SSD /dev/sdk /dev/sdk 数据盘
! E/ w" ~" K) w. i* ], D" `) S7 V* X/dev/sdl SSD /dev/sdl /dev/sdl 数据盘9 M/ D' ?7 [* ^# I+ B* |, R; ~8 g3 _
12.2 ceph安装
# R# l6 }- ]5 o& u7 X$ C在全部节点中，安装ceph组件。
" w+ [# [# i2 F W( r2 Z1，选择节点 — ”ceph“ 点击 ” Install ceph ”- R/ q2 C0 w8 |1 ~+ A: z
8 B( b C; _& t
2，选择版本，此处选择 “ 15.2 ”
; n3 q0 A& o" W/ _$ L- F
, V# n2 l3 A* {- J0 k" ~" C3，入 ” Y “ 开始安装7 o' a- {) D0 p/ @. F
如果软件包下载速度较慢，可以先安装一台，然后将安装包拷贝到其他节点相同路径中。; J: D# ^9 u2 c3 _ g6 e
安装包保存路径：/var/cache/apt/archives
& O, g( L- N! ~! u! q5 \
+ ] c" u' |( x& g/ v* R) l" F12.3 ceph配置
- j2 @' u6 J/ u6 a+ c, D2 m此配置是将ssd硬盘和hdd硬盘分别创建pool，分别为sdd_data和hdd_data，如需将ssd作为hdd的缓存层请关注我的后续文章。3 Z, v. h& u$ [! V9 Z9 G' A
0 f$ i" Q% ^7 d' @0 ^# I' E- F
12.3.1 创建osd7 W& w, x7 ~+ a4 b
在 ”ceph“ — ”osd“ 选项卡创建OSD。
, `) I' q8 F- n9 Q5 `$ I8 W% n7 Y正常情况下磁盘类型会自动识别，如果识别的不正确，注意手动调整。
& s( D2 x' c2 r4 h8 [$ m创建方式如下：5 X* d" j8 T! b: B7 R
HDD盘. R" Y: m0 M2 z1 |( Z7 R
创建hdd时注意选择DB和WAL磁盘。5 d6 P8 V/ C5 G# V* }. m; O8 r
- G* |9 e- S( @6 p: z! N
SSD盘
3 `' f% u$ [' ?3 \3 b* V8 ]* I3 S! c
如果创建时类型选择错误，可以用命令行修改：" l. Z9 B8 g' [/ f2 Q
假设osd0需要更改。2 k5 E0 z% x4 _: h+ I P' I- v2 T# h
1，删除osd类别信息
$ }& ?1 Q+ N0 r0 `5 p# Fstata
0 Z; T+ }0 B- Uceph osd crush rm-device-class osd.0+ W. {$ h& b5 L& N( N
2，设置osd类别信息
4 x3 S( K* o# P; Vdsconfig0 L* P; X/ O* s* Z8 c" t+ T
ceph osd crush set-device-class ssd osd.0( ^% i8 r! X1 P6 v( a
12.3.2 创建class rule& c. O( q- ]" v0 ]
创建HDD rule# p0 F1 l) K' i+ m) L# R
dsconfig
7 n2 A( U6 H6 E3 ?ceph osd crush rule create-replicated ssd_rule default host ssd
6 m: A) v/ k, p% s; r创建SSD rule
u9 ~) C: f) A' Odsconfig
7 Y# f8 f5 ^4 g, l* T3 z1 ^ceph osd crush rule create-replicated hdd_rule default host hdd& P7 A! a* F/ ~: ~( w
12.3.3 创建存储池0 B7 C5 y; E" A K; d5 e
创建HDD pool
0 S- L- [7 a; }$ s cebnf
' S; q' m1 g1 C: U7 Uceph osd pool create hdd_data hdd_rule" O( f1 q/ W/ B% W
创建SSD pool
1 D: v, P/ m# {- `9 O) ?% \ebnf9 ]6 A8 _' W7 N* D% j9 E
ceph osd pool create ssd_data ssd_rule; |1 l7 S2 c! J& e0 _
12.3.4 添加存储池至PVE! f, X& @, t6 {( R$ x
”数据中心“ — ”存储“ — ”添加“ — ”RBD“。4 ^) x9 m: r7 }2 H1 g+ Y" f9 U
添加hdd存储池：
8 F2 s1 N8 p( [" n- h5 C. X/ \$ o
添加ssd存储池：! U/ B0 i, b5 T Z8 N
1 D" m; O& i) p; G% J13 安全加固- |3 x' t* U% l! l% I6 ~5 d
13.1 配置公钥登录$ Z4 P1 ^: g& Z3 H5 s ~
1，禁止ssh使用密码登录
$ R! Y n' S+ m3 \vala
7 F2 m3 O$ c3 [7 [ L#编辑sshd配置文件
& a% z6 K1 \. X1 z) K& Rvim /etc/ssh/sshd_config
K$ t! |- l" p$ u) U% v. p) t#将下列配置添加到最后一行
& ]9 }" f' L4 l9 G2 _1 `, g3 mPasswordAuthentication no# m. C4 _+ M( Q9 M: R
#重启sshd服务
8 y: n7 [; c- usystemctl restart sshd
6 X8 q. ~) L* p$ ?' `6 j2，生成密钥对( @4 @6 h9 }5 p) j
以xshell为例，生成密钥
3 J! ~5 Q3 l1 _* i
- j: A+ E0 q% d& b& u设置名称及密码! w* a% W' Z8 I
设置密码为可选项，为保证密钥安全，建议设置。
+ X' d' B3 }# L' s" m9 z5 u3 {; D6 N5 T# R3 A' c
3，将公钥上传至服务器中7 v P; Z4 Q. ^7 b% y. k
8 g) S$ h4 P" E% l! j
awk$ n$ Q' O! q* H, B* E0 n
vim /root/.ssh/authorized_keys/ R r3 y' j0 b& Q
13.2 配置OTP登录! o' B: z g8 u. E8 H( l& t
1，下载google身份验证器,) P: Y* F0 H$ j. b* `! \
安卓2 ]9 @6 _; g& ?* z2 g' r, M8 \% K9 K
链接: https://pan.baidu.com/s/1R9u24JaTCj_0EMLJLpy9AA 提取码: 59ca 复制这段内容后打开百度网盘手机App，操作更方便哦
+ R, Y4 Y7 c# ~, }" S1 I+ D7 V--来自百度网盘超级会员v6的分享4 E/ p: F9 k5 A5 `
1 f- ~% _3 {. `* }: M5 t5 s- o# Y 苹果4 L* C% O, v4 u0 `# C
在app store中搜索“Google Authenticator”5 K* Q! x; m! V( E9 d
2， 添加令牌) m$ ^% A \0 p3 D7 T, c: p
点击右上角用户名 - TFA，扫描二维码添加令牌，将令牌中显示的数字输入下方验证码框中，点击应用即可。
! e7 r) k+ p3 F, S6 P
( u* c4 \7 @9 P3，为防止手机故障造成令牌不可用，请备份令牌+ D8 {! W, S+ D3 w8 v& F
点击右上角三个点，选择转移账号，导出账号，选择需要导出的账号，备份此二维码或使用其他手机扫描此二维码。需要恢复时，用其他手机扫描此二维码即可。* ~7 ~/ ^& ]6 e
j! Z8 b3 P3 v5 N |
|
发表于 2021-7-12 10:00:11