ceph+超融合环境方案

admin

1 Proxmox Virtual Environment介绍
　　Proxmox VE 是用于企业虚拟化的开源服务器管理平台。它在单个平台上紧密集成了KVM虚拟机管理程序和LXC，软件定义的存储以及网络功能。借助基于Web的集成用户界面，您可以轻松管理VM和容器，高可用性群集或集成的灾难恢复工具。
8 ~$ L. R" t% T5 O( `　　同时Proxmox VE对接Proxmox备份服务器，可实现对VM、容器的全量和增量备份，可显著减少网络负载并节省宝贵的存储空间。
) k: f2 w1 P" Y3 m" P/ ^& ?
% o* v1 T, x9 b8 s$ \7 q0 I2 r2 环境介绍
　　本文章所述环境采用3台物理服务器（含4口万兆网卡），1台万兆业务交换机，1台万兆管理交换机。
　　注意：由于使用ceph搭建分布式存储，为保证性能，管理网络及业务网络强烈建议采用全万兆部署。
- c. D' Y3 H1 K, W2 n1 [& ~5 L/ x2.1 软件版本
　　本次部署采用当前最新版本：Proxmox VE 6.3
2.2 服务器配置
& p& y$ i) ^0 s' o: E8 w型号 配置 数量
( i. L2 z6 P. ^- G( L, CDELL R930 CPU：Intel® Xeon® CPU E7-8870 v4 @ 2.10GHz
内存：512GB
RAID卡：PERC H730P Adapter
SSD：1.5TB 4块
HDD：1.2TB 10块 3
! ^; D$ K7 g0 f1 ]3 软件获取
7 X8 l+ N# t& T0 q6 `3 \: s( e% l5 h　　访问官网下载ISO镜像文件
; F1 X2 ]8 |6 @  K3 C" yhttps://www.proxmox.com/en/downloads/item/proxmox-ve-6-3-iso-installer

' `7 X1 J8 m, f' u$ ]7 R4 RAID规划
4.1 系统盘
2 J; O3 U- G  n# _& ]* ?- {0 B) r    建议采用两块SSD组成raid 1，作为系统盘。
    不同品牌服务器设置方法不同，请参照各品牌官方文档。
- T+ ?! [9 }$ x" ^1 \( r4.2 ceph盘
) F  b+ D9 L# {: c2 w$ Z  x# B; ~    ceph不推荐基于raid盘创建osd，所以除系统盘外，其余磁盘全部设置为非raid模式。
    不同品牌服务器设置方法不同，请参照各品牌官方文档。
0 ~; p+ x9 Q% a" G4 n5 物理网络
　　生产环境对可靠性要求较高，所以建议采用链路聚合方式，将多个物理网卡绑定为一个逻辑接口，从而提高网络的性能及可靠性。
6 F, d8 ]0 W, Z4 T. V/ C链路聚合可在以下三种模式中选择：
   1，LACP（802.3ad）：基于LACP协议的链路聚合，此模式交换机需配置链路聚合，模式为lacp。
   2，静态聚合：静态链路聚合，此模式交换机需配置链路聚合，模式为静态（华为、H3C默认为此模式；思科为on模式）。
/ Z; G- p$ C/ Y; u8 q# F- `   3，Active+Backup：主备模式，网卡一主一备，主网卡故障时备份网卡接替主网卡工作，此模式交换机无需做链路聚合配置。
    若交换机支持LACP，推荐采用LACP模式。此处采用LACP模式进行演示。
5.1 网络规划
5.1.1 物理网络拓扑
" \1 P- U. d1 B5 f' x$ [
" P6 v$ ~) V  {( _7 D7 B. a" u 5.1.2 vlan及网段规划
vlan号 用途 IP网段 网关
' ]# d( O3 b$ v4 a1 管理 10.1.1.0/24 10.1.1.254
5 J$ Q8 a" M* M3 y3 O8 z3 业务 10.1.3.0/24 10.1.3.254
4 ^, S) d% W; L# A4 业务 10.1.4.0/24 10.1.4.254
5 业务 10.1.5.0/24 10.1.5.254
5.2 网络配置
以华为交换机为例。
- T: O2 x" X/ q! V" c2 N5.2.1 创建vlan：
apache
' q1 m4 ]* {/ Z( z2 t! vvlan batch 3 to 5
3 S% r5 z! A8 I5.2.2 创建vlan-if（网关）：
; F/ O3 E7 E3 K9 X: Wapache
8 M- V' h+ `9 a, o" |7 hinterface Vlanif1      //vlan1，管理网络网关
# o5 D$ d8 n& a: J. j4 r( ] ip address 10.1.1.254 255.255.255.0
! b( _# {) I+ ainterface Vlanif3      //vlan3，业务网络网关
ip address 10.1.3.254 255.255.255.0
interface Vlanif4      //vlan4，业务网络网关
ip address 10.1.4.254 255.255.255.0
: {, H+ [5 u$ Y0 B' s6 Dinterface Vlanif5      //vlan5，业务网络网关
% Z+ _5 x7 u5 o" S: z% l5 E" X- U% p ip address 10.1.5.254 255.255.255.0
$ W6 a- D# H2 M5.2.3 创建聚合接口（eth-trunk）：
4 [6 z7 U; b6 C* v' rapache
' c* o* J# S2 Z6 p. iinterface Eth-Trunk101    //用于节点1管理口
$ }1 n. m3 S( t8 i$ \ description to-pve1-mgmt
port link-type access
mode lacp
& Z! M% o0 c4 j2 f) B  u#
" ]8 B! z+ [9 ^$ u  L3 m6 L0 linterface Eth-Trunk102    //用于节点2管理口
1 j( Q' w, v; n' G4 R, | description to-pve2-mgmt
: b' _# T+ ^+ H! C# z. u% p port link-type access
mode lacp
. [! v& c& q6 ^6 Z#
1 ]) O0 A% ?  _% S; F# s, _interface Eth-Trunk103    //用于节点3管理口
6 e0 E9 c7 P: ~3 H7 p description to-pve3-mgmt
port link-type access
mode lacp
- J" M! e5 F0 t0 V#
interface Eth-Trunk104    //用于节点1业务口
/ B- p4 Y6 W' r1 J3 ? description to-pve1-yewu
& N2 v* H$ w0 g; s' q8 L+ f6 K port link-type trunk
port trunk allow-pass vlan 2 to 4094
! |$ J& u" _' J- J, W mode lacp
  Z* p. C' F- j2 Q- S/ d0 \% }#
4 ?1 G8 C7 w( g- R. T& Ointerface Eth-Trunk105    //用于节点2业务口
2 k6 Z* e% K: X" G; Y2 u description to-pve2-yewu
* E9 Q0 o9 G9 @& R8 y2 r port link-type trunk
. @( R) G: f( e# P# L: o port trunk allow-pass vlan 2 to 4094
mode lacp
* ~: a* z+ ^- h3 L9 d* a#
% Z$ ?, e  X3 }interface Eth-Trunk106    //用于节点3业务口
( a6 H* l5 \, i! n description to-pve3-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
- p+ N; o: K' p' E* g9 a mode lacp
/ Z# n: y+ j& M4 X7 Z0 X3 z$ l5.2.4 物理接口加入聚合接口
$ R, L7 x7 j; |( hapache
5 L- e; R6 Z+ h; Ginterface GigabitEthernet0/0/10    //连接节点1管理口eno1
description pve1-mgmt-eno1
' _/ v' |3 x% o! N# {% D eth-trunk 101
#
interface GigabitEthernet0/0/11    //连接节点1管理口eno2
description pve1-mgmt-eno2
# k. c2 O1 g4 S eth-trunk 101
#
. y6 Q7 S" I" ]6 g& qinterface GigabitEthernet0/0/12    //连接节点2管理口eno1
description pve2-mgmt-eno1
eth-trunk 102
4 p! C! p& U; S/ L2 Y#
interface GigabitEthernet0/0/13    //连接节点2管理口eno2
. s) O$ }8 J; V3 A/ J& l8 J description pve2-mgmt-eno2
eth-trunk 102
( d0 E; J0 B" m; M0 Q; p#
interface GigabitEthernet0/0/14    //连接节点3管理口eno1
description pve3-mgmt-eno1
. j7 B$ N3 F$ G" E) F4 Y eth-trunk 103
#
interface GigabitEthernet0/0/15    //连接节点3管理口eno2
description pve3-mgmt-eno2
9 k1 g& x/ G' P$ o6 {  G eth-trunk 103
#
interface GigabitEthernet0/0/16    //连接节点1业务口eno3
5 j3 S# O" E- F6 y& {6 I/ C2 G* e4 E description pve1-data-eno3
0 @9 e5 r( ~& K/ q9 ? eth-trunk 104
' c# v+ }- z" f#
interface GigabitEthernet0/0/17    //连接节点1业务口eno4
$ P% ^3 p6 `9 o( P description pve1-data-eno4
& n. u4 c, A; I/ k" u8 v7 n eth-trunk 104
4 i, W/ C2 Y: E! v#
interface GigabitEthernet0/0/18    //连接节点2业务口eno3
description pve2-data-eno3
eth-trunk 105
#
' L* a+ S6 z/ q8 d# binterface GigabitEthernet0/0/19    //连接节点2业务口eno4
description pve2-data-eno4
- L2 V4 [5 e; ~+ o2 C, n eth-trunk 105
#
interface GigabitEthernet0/0/20    //连接节点3业务口eno3
- n) j  \; M3 I& [# S# K  W# M description pve3-data-eno3
eth-trunk 106
4 S* w1 I+ x! M2 t: f3 E#
5 n" H7 i& @  p, N: N; k( s$ u& o" X5 i& dinterface GigabitEthernet0/0/21    //连接节点3业务口eno4
; |2 P" ], i; L0 }* Q0 j( Z9 C description pve3-data-eno4
eth-trunk 106
6 PVE安装
1，选择第一个选项，安装PVE
* E2 f4 ~& k" W% t& `3 n2，同意协议
3，选择系统盘
注意：此处一定要选择RAID规划中创建的RAID 1系统盘
' l6 K( n5 b* I& k, o0 `- \- h! w5 i
4，配置国家、地区,
5，配置密码、邮箱
如果为生产环境务必配置为强口令。邮箱建议配置为真实邮箱
6，配置网卡、主机名、IP地址、DNS等信息
此处选择服务器第一块网卡，用于管理网络，按我们的规划应为eno1
每个节点主机名不能相同，主机名可以参考以下规划，域名请按需配置。
( c) X7 ]8 w+ w3 v序号 主机名 域名
- B2 z7 E- x- r1 Z1 pve1 test.local
- |# L, C6 O( U0 ~" x3 a8 i2 pve2 test.local
" a; x+ s6 W. ~' C% i( v/ d; [4 k3 pve3 test.local
% A7 _0 ^3 j, B( ^" }主机名、IP地址等信息按实际情况配置，配置公网DNS，用于pve连接互联网。

7，检查无误后点击安装。

安装结束后重启，通过浏览器访问，出现以下页面证明安装成功。
地址：https://你的IP地址:8006
用户名：root
6 q: L/ I, L* B- N密码：为安装时配置的密码。
域：选择Linux PAM
/ z7 N8 U! H2 X3 c3 ^8，按照此方法安装全部服务器。
7 更换软件源（三个节点都需要配置）
由于自带的软件源速度较慢，此处选择科大源：http://mirrors.ustc.edu.cn
涉及的软件源有三个，分别为debain、pve、ceph，需要分别修改下列文件。
名称 source文件路径
debain /etc/apt/sources.list
' K2 r. h# a' A  t% O$ Hpve /etc/apt/sources.list.d/pve-no-subscription.list
ceph /etc/apt/sources.list.d/ceph.list
操作流程：
1,通过web管理页面中的shell或ssh登录后台。
" T& N' t3 U) a: O) Q3 k% F, }, m
2,更换debian源：
. I: }5 T& L# Xawk
vi /etc/apt/sources.list
, x9 \# C+ z- C6 ^* ~3 ^; ]$ C% |  y删除默认的源，替换为：
awk
deb http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
. b7 I  v6 N/ b9 N0 j9 Kdeb http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
deb http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
3,更换pve源为非订阅源：
$ s7 H( h+ E1 h/ n; ]awk
' Y5 w) Q# k: K: r+ B0 k    //备份默认源：
1 ]/ i5 Y) |' [: _& f- X9 X  Qmv /etc/apt/sources.list.d/pve-enterprise.list /root
    //创建pve-no-subscription.list文件：
* \) t% F8 h" x, ~vi /etc/apt/sources.list.d/pve-no-subscription.list
7 i' v3 ?; Z0 I. X% T: j% S    //增加以下内容：
deb http://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription
4,更换ceph源
awk
6 @/ z$ z( i* k) j0 K8 D6 @+ V    //创建ceph.list文件：
7 A' c1 D% [9 e, \7 g) evi /etc/apt/sources.list.d/ceph.list
    //增加以下内容：
deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus buster main
( T! P& H- c; W9 w- `5.更新软件列表
ebnf
8 X2 }& Z! V9 B5 ]. Kapt update
8. 更新PVE至最新版本（按需）
2 k) x% x4 }* q6 }2 n/ _根据实际需求决定是否更新为最新版本。
# U, F5 o0 }' w4 X, e如需更新三台节点都需要执行：
6 f& E) }1 K+ L! {ebnf
apt upgrade
9 基础配置（三个节点都需要配置）
9.1 安装ifupdown2
此组件用于配置网卡后重启网卡操作：
apache
apt install ifupdown2
+ E! O3 l  d1 Q. W& T( M5 ?9 ~9.2 安装vim
4 P1 `# n, ~5 jcmake
apt install vim
9.3 配置ntp服务
1,配置统一的时钟源
! ?" _- M  ~; t如果有条件建议在内网部署一台ntp服务器，所有节点与内网ntp同步时钟。
如果没有内网NTP服务器，可以采用下列NTP服务器
stylus
1 h% o9 ~* Z3 q, D3 q" w, V0 v阿里云：ntp.aliyun.com
, j. e% s! V. k9 I0 j国家授时中心：ntp.ntsc.ac.cn
2,将NTP取消注释，填写ntp服务器地址
awk
vim /etc/systemd/timesyncd.conf
* s( E$ u- r1 @" i+ M
3,配置完成后重启时间服务
ebnf
systemctl restart systemd-timesyncd
10 PVE网络配置（三个节点都需要配置）
10.1 PVE服务器网络拓扑
放一张图有助于理解配置，可以结合5.1.1章节拓扑图理解。
0 B! z4 m% [: s
10.2 管理网络
1,编辑vmbr0
: E- K9 i8 P& J移除eno0，以便于将eno0加入到bond0中
) G) b, s, ], @) f4 P删除桥接端口中的eno0，然后点击OK。

2,创建bond0
! o- R# P: R3 t点击创建Linux Bond。
' }8 p+ ?* T' z6 g, H. ?名称：bond0
slaves：eno0 eno1
模式：LACP (802.3ad)
; P, ~! ^, j' K* U* u5 rHash策略：layer2+3
! I- g2 Z, H8 m6 G- `' ~$ t( D6 J) ?按以上参数配置，然后点击OK。

3 o! z+ N( u% s( P/ v$ G" r 3,编辑vmbr0
9 I5 c7 }9 `5 c8 }! i( @7 f) F3 }2 d桥接端口配置：bond0。
选中“vlan感知”选项，然后点击OK。

3 R- V* p- }/ x; r9 N3 c4,应用配置
8 d  W$ D% w- F/ P如果感觉配置有问题可以点击还原按钮，还原为配置前状态。
) O% @5 y3 _  _& O0 X如果没有问题，点击应用配置使配置生效。
& F% N) L6 l6 N) w& o1 ~2 [" I( o网络配置不正确可能会导致无法管理节点，应用配置前请确认配置正确，如果出现无法管理的情况需要进入shell手动修改配置。
10.3 业务网络
( N5 N+ a( G5 X& H业务网络配置与管理网络类似。
7 s9 _; g0 g- R  ^$ R3 k1,创建bond1
" R5 X9 V1 i- b3 \; e点击创建Linux Bond。
名称：bond1
slaves：eno2 eno3
0 d* S9 y/ J1 E5 b% \模式：LACP (802.3ad)
Hash策略：layer2+3
# E' }( w: [2 @7 x按以上参数配置，然后点击OK。
) m) K! A  o0 T" G
$ }& U9 y" V) }& t. _$ D 2,创建vmbr1
桥接端口配置：bond1。
选中“vlan感知”选项，然后点击OK。

& H) d, @; D/ E* P8 P# ?$ r 3,应用配置
# K0 {  ~. k3 U8 ?' Q2 d4 C: U点击应用配置使配置生效。
10.4 网络配置检查
6 M% y8 e: f0 S( c在交换机中检查聚合接口状态是否正常。
apache
& Q7 [: s+ U% Z0 a' W9 Sdisplay eth-trunk 101
display eth-trunk 102
/ C" K" M% |- K7 o7 T& i6 {display eth-trunk 103
2 v4 V! R7 L* X* E9 S9 C" Hdisplay eth-trunk 104
display eth-trunk 105
+ _+ z/ P' ~! C! f9 U5 Ldisplay eth-trunk 106
查看所有eth-trunk接口状态，Status为Selected，则聚合接口正常。
1 }! Q0 f; g6 [, x% V0 ^8 H- Y. L
11 集群组建
创建集群，将三台节点加入同一集群。
3 L- v  Q& ^0 `2 p) Z1,在其中一个节点上点击，”数据中心“ — ”集群“ — ”创建集群“。
# H5 t% G. F3 |+ T2,点击加入信息，复制加入信息。
6 d# o2 c. Y! S1 R1 o
3,在其他两个节点上，点击加入集群，粘贴加入信息，然后输入第一台节点的root密码，即可完成加入。

4,加入集群完成后需要刷新页面才能正常使用，全部加入完成后，就可以在一个节点上管理集群中所有节点了。
7 ]" _# h' p6 M8 k& f% v
12 ceph
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。它可以将多台服务器中的硬盘聚合成一个集群，对外可提供文件存储、块存储、对象存储等多种形式，ceph的另一个特点是数据采用多副本方式存储，避免由于单点故障造成的业务中断和数据丢失。
8 ?; p2 l: f1 |4 P' PPVE自带了ceph的图形化安装、管理工具，集群搭建完成后，可以快速完成ceph的安装、配置。同时pve也提供命令行工具，可以使用命令行对ceph进行自定义配置。
12.1 ceph磁盘规划
我的环境中，sda到sdh为8块HDD硬盘，sdi到sdl为4块SSD硬盘。
为提高hdd的性能，我们将sdi作为所有hdd硬盘的DB盘，将sdj作为所有hdd硬盘的WAL磁盘。
请注意DB盘和WAL盘不能相同，如果只有一块SSD可以将SSD分为两个区，分别作为DB盘和WAL盘。
分区建议：根据PVE文档建议，DB盘容量=数据盘总容量10%，WAL盘容量=数据盘总容量1%，假设数据盘共8T，则DB分区容量需>800G，WAL分区容量需>80G，考虑到单位换算及损耗，需要适当增加容量，请根据实际情况规划。
5 r" z' @) H2 B% D- F详细规划如下：,
物理路径    磁盘类型    DB磁盘    WAL磁盘    角色
/dev/sda    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdb    HDD    /dev/sdi    /dev/sdj    数据盘
5 W9 Z) G% ?% |! _/dev/sdc    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdd    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sde    HDD    /dev/sdi    /dev/sdj    数据盘
7 }$ e+ [' J8 F/ K+ @( S/dev/sdf    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdg    HDD    /dev/sdi    /dev/sdj    数据盘
+ c( o: X- z7 r' r/dev/sdh    HDD    /dev/sdi    /dev/sdj    数据盘
3 a2 _: g7 B# b, r. n' v  o/dev/sdi     SSD    不适用    不适用       DB盘
/dev/sdj     SSD    不适用    不适用       WAL盘
/dev/sdk    SSD    /dev/sdk    /dev/sdk    数据盘
/dev/sdl    SSD    /dev/sdl    /dev/sdl     数据盘
# H* G& A! A3 y# v  Y12.2 ceph安装
在全部节点中，安装ceph组件。
$ ?6 f6 O# m5 B  M2 S/ K1，选择节点 — ”ceph“ 点击 ” Install ceph ”
$ U! y  i+ W5 D+ ^
2，选择版本，此处选择 “ 15.2 ”

. p* e% ^9 y$ Q( h3，入 ” Y “ 开始安装
如果软件包下载速度较慢，可以先安装一台，然后将安装包拷贝到其他节点相同路径中。
安装包保存路径：/var/cache/apt/archives
0 p  Q0 ]6 ~( }: }5 Z
; ^8 T9 a$ K! k- V6 n! N12.3 ceph配置
$ X$ h! O; |) y# |1 X/ E此配置是将ssd硬盘和hdd硬盘分别创建pool，分别为sdd_data和hdd_data，如需将ssd作为hdd的缓存层请关注我的后续文章。

, F9 W* A4 s" }8 y" s5 X2 z; H& ?% ]12.3.1 创建osd
在 ”ceph“ — ”osd“ 选项卡创建OSD。
正常情况下磁盘类型会自动识别，如果识别的不正确，注意手动调整。
2 C- X$ ?; W* r3 {, G* L7 H4 O创建方式如下：
HDD盘
    创建hdd时注意选择DB和WAL磁盘。

7 h+ w8 I) \. t+ a6 t5 \SSD盘

如果创建时类型选择错误，可以用命令行修改：
假设osd0需要更改。
1，删除osd类别信息
8 k% g/ v% v) J# G' ?( kstata
" A3 W- b5 c* b% eceph osd crush rm-device-class osd.0
2，设置osd类别信息
% J7 A  O  B9 ~$ p; m* `# @dsconfig
1 D9 N- v6 K( h5 w) D% A4 [+ f: Kceph osd crush set-device-class ssd osd.0
12.3.2 创建class rule
1 i$ e7 G% F: I: @; I9 I创建HDD rule
- a5 g* d0 C# _1 _+ n7 D" {8 edsconfig
ceph osd crush rule create-replicated ssd_rule default host ssd
创建SSD rule
- J1 e; d+ N  d9 x3 k6 {$ @dsconfig
2 m: H. A; {4 n  _. q1 Oceph osd crush rule create-replicated hdd_rule default host hdd
2 h6 |( Q9 R8 r* }) ?+ M0 X12.3.3 创建存储池
创建HDD pool
( r- L1 \  N9 |ebnf
+ S! H7 }- J/ L# w0 [ceph osd pool create hdd_data hdd_rule
( m3 v* m& S, j' l4 D4 h 创建SSD pool
ebnf
ceph osd pool create ssd_data ssd_rule
: H* L6 @' d* r" `6 o+ Q3 t2 f12.3.4 添加存储池至PVE
9 |# a  y0 N3 Z( y  T; y”数据中心“ — ”存储“ — ”添加“ — ”RBD“。
2 U$ k3 b/ s4 O, i3 K0 X添加hdd存储池：
4 }. ~0 o. {4 `) N4 M- }
: O5 F( ~) n& S9 O2 f4 t 添加ssd存储池：
8 r9 `  z1 g! B4 [; P
1 j" t( ?  Q5 O' a2 d; h13 安全加固
13.1 配置公钥登录
1，禁止ssh使用密码登录
% ^$ A* v* V$ `' Xvala
#编辑sshd配置文件
+ i9 G2 `7 S! V# V2 ^* T' Cvim /etc/ssh/sshd_config
" F6 c1 l' j2 P- O#将下列配置添加到最后一行
- Z- H4 k+ f5 p  w: H5 w- KPasswordAuthentication no
#重启sshd服务
systemctl restart sshd
2，生成密钥对
' r7 l/ T) R% Z$ b7 ?以xshell为例，生成密钥
! Z3 x  [) }5 I- H( M  F
设置名称及密码
# Q4 e8 [' O4 h/ j设置密码为可选项，为保证密钥安全，建议设置。

/ ?! t- {" \9 m& f* }1 g6 t3，将公钥上传至服务器中
, M2 `4 \5 |" N) z8 ]
* F. U$ K  _5 v+ S* Sawk
vim /root/.ssh/authorized_keys
13.2 配置OTP登录
1，下载google身份验证器,
1 [# b& s* @) h4 i( v    安卓
" {- d6 n* i2 G9 a) q7 t: k链接: https://pan.baidu.com/s/1R9u24JaTCj_0EMLJLpy9AA 提取码: 59ca 复制这段内容后打开百度网盘手机App，操作更方便哦
--来自百度网盘超级会员v6的分享
  
    苹果
- z+ _% _, k! p' O3 ^1 i4 g; e    在app store中搜索“Google Authenticator”
6 \) q; _6 \" f, }- g& j2， 添加令牌
    点击右上角用户名 - TFA，扫描二维码添加令牌，将令牌中显示的数字输入下方验证码框中，点击应用即可。

3，为防止手机故障造成令牌不可用，请备份令牌
点击右上角三个点，选择转移账号，导出账号，选择需要导出的账号，备份此二维码或使用其他手机扫描此二维码。需要恢复时，用其他手机扫描此二维码即可。

. _. H) [* e9 h0 ^

admin

5.2 网络配置
) a" y. ^. C* N0 b; w* r, H; d 以华为交换机为例。
5.2.1 创建vlan：
" T  O5 i1 }# Q) s. ^1 sapache
) O$ D; j9 ?' [0 F vlan batch 3 to 5
( I8 K9 {! @1 ^/ c+ m0 L 5.2.2 创建vlan-if（网关）：
* U+ i# `1 J# @9 yapache
interface Vlanif1      //vlan1，管理网络网关
ip address 10.1.1.254 255.255.255.0
5 A3 b  c2 n. ~' S1 f$ w- z" E interface Vlanif3      //vlan3，业务网络网关
ip address 10.1.3.254 255.255.255.0
$ B" \, O, h4 |9 P2 G5 y9 b interface Vlanif4      //vlan4，业务网络网关
  ]% Y$ N. R& c* sip address 10.1.4.254 255.255.255.0
5 C+ d7 J( q0 v$ D interface Vlanif5      //vlan5，业务网络网关
7 E1 Q6 P; `9 S7 {; Tip address 10.1.5.254 255.255.255.0
5.2.3 创建聚合接口（eth-trunk）：
apache
interface Eth-Trunk101    //用于节点1管理口
description to-pve1-mgmt
+ p0 u( Y, k* V" `; R9 Hport link-type access
mode lacp
#
5 u, _: [0 H- i; t! \' S' F interface Eth-Trunk102    //用于节点2管理口
description to-pve2-mgmt
port link-type access
mode lacp
( x7 |1 C. {! Y& q9 f% G" D #
$ U" w6 ?8 `+ C* y2 e interface Eth-Trunk103    //用于节点3管理口
9 H7 `5 q( ^! b/ S( Xdescription to-pve3-mgmt
" p7 c* T, Z' |, wport link-type access
; G- j, H8 o3 b" Z( ]+ t7 l  T2 D6 cmode lacp
#
interface Eth-Trunk104    //用于节点1业务口
4 r- e- C- [* [description to-pve1-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
) c0 c7 f1 H1 ]* mmode lacp
. b4 M0 [" a# b2 j& o #
interface Eth-Trunk105    //用于节点2业务口
2 N" q# y4 X1 i3 ~' k2 qdescription to-pve2-yewu
0 w  Z) @3 U  [9 w0 b$ Bport link-type trunk
5 Z  o8 a- G3 a- Vport trunk allow-pass vlan 2 to 4094
mode lacp
#
interface Eth-Trunk106    //用于节点3业务口
description to-pve3-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
mode lacp
5.2.4 物理接口加入聚合接口
( D0 {* T( ^, H% sapache
interface GigabitEthernet0/0/10    //连接节点1管理口eno1
description pve1-mgmt-eno1
eth-trunk 101
" o( g/ M5 \5 g$ h/ B% g5 v #
interface GigabitEthernet0/0/11    //连接节点1管理口eno2
description pve1-mgmt-eno2
8 p, O# z, D' k9 geth-trunk 101
#
interface GigabitEthernet0/0/12    //连接节点2管理口eno1
" k9 w2 t0 E0 e! Q  u" G& w6 fdescription pve2-mgmt-eno1
eth-trunk 102
. D  ], _& O: e, @8 s7 W #
interface GigabitEthernet0/0/13    //连接节点2管理口eno2
description pve2-mgmt-eno2
- R* Q- \# _5 x: Z- v% ?eth-trunk 102
#
interface GigabitEthernet0/0/14    //连接节点3管理口eno1
description pve3-mgmt-eno1
) l% e1 I- `3 B' Jeth-trunk 103
#
interface GigabitEthernet0/0/15    //连接节点3管理口eno2
& F  A& J3 {$ r- t. Zdescription pve3-mgmt-eno2
; p1 j: V3 U( u* ceth-trunk 103
! w0 u( u) ^! f6 r, T6 g #
interface GigabitEthernet0/0/16    //连接节点1业务口eno3
  D% p. e4 h3 T: rdescription pve1-data-eno3
6 r0 S2 `9 `& @eth-trunk 104
#
4 d* W2 r- C6 O0 M8 ^# v interface GigabitEthernet0/0/17    //连接节点1业务口eno4
; o3 A9 u; ^/ ~description pve1-data-eno4
eth-trunk 104
#
2 G' b; S+ b3 e3 I7 b. B* ] interface GigabitEthernet0/0/18    //连接节点2业务口eno3
description pve2-data-eno3
0 A: N! U+ y, feth-trunk 105
; @0 E7 N0 h( _. @2 m #
  O3 E% ~& A" B* ? interface GigabitEthernet0/0/19    //连接节点2业务口eno4
description pve2-data-eno4
4 i- L6 l# {% J! Y" Z0 V4 v! ]) o0 geth-trunk 105
#
interface GigabitEthernet0/0/20    //连接节点3业务口eno3
description pve3-data-eno3
eth-trunk 106
9 @" l/ V2 |8 X, u+ ?% u/ t' j/ K2 j #
0 h4 E6 V/ o- g  x4 Y4 N' n+ ?- W interface GigabitEthernet0/0/21    //连接节点3业务口eno4
( C! P' V; p: i. ?0 v6 N- H4 @description pve3-data-eno4
$ k/ }0 i$ T3 J, Eeth-trunk 106
4 j/ {! O* U. O: t" v! D5 G 6 PVE安装
1，选择第一个选项，安装PVE