ceph+超融合环境方案

admin

1 Proxmox Virtual Environment介绍
　　Proxmox VE 是用于企业虚拟化的开源服务器管理平台。它在单个平台上紧密集成了KVM虚拟机管理程序和LXC，软件定义的存储以及网络功能。借助基于Web的集成用户界面，您可以轻松管理VM和容器，高可用性群集或集成的灾难恢复工具。
' |: c3 u* p# {- k* V3 G0 l　　同时Proxmox VE对接Proxmox备份服务器，可实现对VM、容器的全量和增量备份，可显著减少网络负载并节省宝贵的存储空间。
; x7 N* V6 o( t# X: o
6 e2 w, n  G; I: J8 I2 环境介绍
　　本文章所述环境采用3台物理服务器（含4口万兆网卡），1台万兆业务交换机，1台万兆管理交换机。
　　注意：由于使用ceph搭建分布式存储，为保证性能，管理网络及业务网络强烈建议采用全万兆部署。
2 ^. ^. h# Z) b' V! I2.1 软件版本
3 i! {  y3 h; f　　本次部署采用当前最新版本：Proxmox VE 6.3
" j$ t' C- J: f% _' t  k2.2 服务器配置
型号 配置 数量
  T' u( C+ h+ R2 s  WDELL R930 CPU：Intel® Xeon® CPU E7-8870 v4 @ 2.10GHz
. k# t% K: c, r$ y$ w' Q内存：512GB
5 ~7 V# V: b: q$ yRAID卡：PERC H730P Adapter
SSD：1.5TB 4块
4 z$ y$ I5 V( ?- T8 O: X* W6 lHDD：1.2TB 10块 3
" E$ `7 z+ S. Z  x2 V3 软件获取
4 Q0 k/ r& J, m3 B　　访问官网下载ISO镜像文件
" c# I! H+ n6 N0 j; g5 }1 Dhttps://www.proxmox.com/en/downloads/item/proxmox-ve-6-3-iso-installer
% R: }/ J0 j' u+ Y: _
4 RAID规划
4.1 系统盘
    建议采用两块SSD组成raid 1，作为系统盘。
    不同品牌服务器设置方法不同，请参照各品牌官方文档。
5 X' e6 }; g5 E% Q% m* Z  U3 S4.2 ceph盘
    ceph不推荐基于raid盘创建osd，所以除系统盘外，其余磁盘全部设置为非raid模式。
    不同品牌服务器设置方法不同，请参照各品牌官方文档。
5 物理网络
! J; k6 Q! |) n' k3 p　　生产环境对可靠性要求较高，所以建议采用链路聚合方式，将多个物理网卡绑定为一个逻辑接口，从而提高网络的性能及可靠性。
链路聚合可在以下三种模式中选择：
* ]$ P! M- ], {- }   1，LACP（802.3ad）：基于LACP协议的链路聚合，此模式交换机需配置链路聚合，模式为lacp。
- l& a2 X$ v) h   2，静态聚合：静态链路聚合，此模式交换机需配置链路聚合，模式为静态（华为、H3C默认为此模式；思科为on模式）。
# ?9 N0 f5 M- U8 M   3，Active+Backup：主备模式，网卡一主一备，主网卡故障时备份网卡接替主网卡工作，此模式交换机无需做链路聚合配置。
    若交换机支持LACP，推荐采用LACP模式。此处采用LACP模式进行演示。
$ L/ i% Z0 \$ W' s5.1 网络规划
( w7 {" }" h; A/ Y6 n/ {& L5.1.1 物理网络拓扑
' @) a* [; I3 [8 O' _) Z
5.1.2 vlan及网段规划
; H: V& F+ D; r& W2 ~5 {  h" r' Wvlan号 用途 IP网段 网关
1 管理 10.1.1.0/24 10.1.1.254
3 业务 10.1.3.0/24 10.1.3.254
4 业务 10.1.4.0/24 10.1.4.254
8 m' {/ Z0 d( Y5 g$ F5 V5 业务 10.1.5.0/24 10.1.5.254
5.2 网络配置
3 p) x' c  H! {7 c# d2 |( m6 G以华为交换机为例。
5.2.1 创建vlan：
- p8 k  h* x6 l5 U3 F, gapache
vlan batch 3 to 5
5.2.2 创建vlan-if（网关）：
apache
+ U0 S! D0 e- h  v2 B* J5 jinterface Vlanif1      //vlan1，管理网络网关
ip address 10.1.1.254 255.255.255.0
interface Vlanif3      //vlan3，业务网络网关
ip address 10.1.3.254 255.255.255.0
0 s: k+ d3 p) }% W5 `2 e+ Ginterface Vlanif4      //vlan4，业务网络网关
ip address 10.1.4.254 255.255.255.0
1 a! l- f" R  F% ~0 |% W3 a- Rinterface Vlanif5      //vlan5，业务网络网关
ip address 10.1.5.254 255.255.255.0
5.2.3 创建聚合接口（eth-trunk）：
apache
( ^8 ~# G5 M* Q3 N. s9 z# c: Ainterface Eth-Trunk101    //用于节点1管理口
description to-pve1-mgmt
port link-type access
mode lacp
#
9 S, r) K- f% p. n. z* dinterface Eth-Trunk102    //用于节点2管理口
description to-pve2-mgmt
0 r6 t* s6 U; l$ N; s# `6 P& r port link-type access
; Z' n+ v; y# A6 W' b mode lacp
#
: V$ @8 a7 U' ]interface Eth-Trunk103    //用于节点3管理口
description to-pve3-mgmt
/ G& u. `7 Y& O& B  R port link-type access
' b5 ^1 x5 E) e0 U- b2 ]7 {% C mode lacp
$ {9 o8 i: u5 s#
interface Eth-Trunk104    //用于节点1业务口
' U( }, A4 e" G6 N' F description to-pve1-yewu
8 [5 K/ p" G  l  u2 O8 ? port link-type trunk
port trunk allow-pass vlan 2 to 4094
% G' `4 m& U5 z- x. r) h4 L mode lacp
#
interface Eth-Trunk105    //用于节点2业务口
description to-pve2-yewu
. m) G6 S( T! f% I2 k port link-type trunk
port trunk allow-pass vlan 2 to 4094
mode lacp
#
interface Eth-Trunk106    //用于节点3业务口
description to-pve3-yewu
port link-type trunk
: Q8 {7 a# s( J9 K" R0 B port trunk allow-pass vlan 2 to 4094
mode lacp
- d# _5 w" q# p! W5.2.4 物理接口加入聚合接口
. ]5 d- r. B8 a& C: rapache
/ t2 W0 I1 c  t) s0 B3 G! Tinterface GigabitEthernet0/0/10    //连接节点1管理口eno1
) p+ A$ \4 o1 k' _8 `- g. q description pve1-mgmt-eno1
/ w9 m# Y$ h$ y# N eth-trunk 101
#
: M7 S+ v4 q9 }interface GigabitEthernet0/0/11    //连接节点1管理口eno2
; A& U8 x4 Q1 s; r description pve1-mgmt-eno2
eth-trunk 101
9 u8 G% Y, r4 h' ]0 _" V% L, `+ Q#
8 m7 h  X5 ]: {! q& x$ R' Dinterface GigabitEthernet0/0/12    //连接节点2管理口eno1
description pve2-mgmt-eno1
eth-trunk 102
! w& g: ^# T9 E" b1 g#
  Q' M6 ^# ], Y/ ?- ^6 f0 ^& Sinterface GigabitEthernet0/0/13    //连接节点2管理口eno2
description pve2-mgmt-eno2
* a6 x- f. f% Y' i: C! w eth-trunk 102
#
interface GigabitEthernet0/0/14    //连接节点3管理口eno1
description pve3-mgmt-eno1
eth-trunk 103
#
interface GigabitEthernet0/0/15    //连接节点3管理口eno2
$ M9 c% [1 F& N* r; W/ ^+ w0 ^, _$ F description pve3-mgmt-eno2
eth-trunk 103
#
& G2 T' n& e2 N5 ^4 Q8 xinterface GigabitEthernet0/0/16    //连接节点1业务口eno3
; R8 Q; h( }+ ]" W3 ~+ q4 @ description pve1-data-eno3
6 V# f8 t9 f5 D9 B! S& j eth-trunk 104
#
: F* T' |1 _& tinterface GigabitEthernet0/0/17    //连接节点1业务口eno4
description pve1-data-eno4
8 O% B7 w( C/ t% r0 n- R9 c- g eth-trunk 104
#
interface GigabitEthernet0/0/18    //连接节点2业务口eno3
description pve2-data-eno3
eth-trunk 105
#
2 F) R; a; ~5 d: n/ x6 Binterface GigabitEthernet0/0/19    //连接节点2业务口eno4
5 S# A) J! X) O" @0 C) u0 ~& Y# N4 _ description pve2-data-eno4
eth-trunk 105
#
interface GigabitEthernet0/0/20    //连接节点3业务口eno3
/ D+ v7 O: e/ u  v  R' { description pve3-data-eno3
eth-trunk 106
) e) b  \" R; k* G#
interface GigabitEthernet0/0/21    //连接节点3业务口eno4
1 B$ \3 X' D; ^. G3 h) b/ Z4 K% L description pve3-data-eno4
, u$ s: Q. t) U/ y2 O eth-trunk 106
2 r! }: @& o- K' {) K, `/ t4 E6 PVE安装
1，选择第一个选项，安装PVE
2，同意协议
3，选择系统盘
注意：此处一定要选择RAID规划中创建的RAID 1系统盘
: h8 p9 Q4 G( B: u; }/ h" N
% c. p/ O7 n* p) }4，配置国家、地区,
5，配置密码、邮箱
如果为生产环境务必配置为强口令。邮箱建议配置为真实邮箱
6，配置网卡、主机名、IP地址、DNS等信息
) X" \! f3 a: L# M此处选择服务器第一块网卡，用于管理网络，按我们的规划应为eno1
每个节点主机名不能相同，主机名可以参考以下规划，域名请按需配置。
序号 主机名 域名
9 r9 h% f* a4 c% J7 I8 A1 pve1 test.local
2 pve2 test.local
3 pve3 test.local
4 b; z" f, f3 F, e3 p3 @主机名、IP地址等信息按实际情况配置，配置公网DNS，用于pve连接互联网。
. F2 L* d) X% d3 q% U: E9 l
! G$ z1 y% |- B4 D8 M7，检查无误后点击安装。
6 s3 s0 t) ]% |+ z1 m
安装结束后重启，通过浏览器访问，出现以下页面证明安装成功。
* D& k8 ^* v# H8 [- O$ y地址：https://你的IP地址:8006
用户名：root
密码：为安装时配置的密码。
9 ]: H8 Z) ^5 {/ g- U% q& L域：选择Linux PAM
8，按照此方法安装全部服务器。
1 l4 ?; S* j4 z0 }- [2 m$ c7 更换软件源（三个节点都需要配置）
由于自带的软件源速度较慢，此处选择科大源：http://mirrors.ustc.edu.cn
涉及的软件源有三个，分别为debain、pve、ceph，需要分别修改下列文件。
, j2 O/ ]/ H% c4 d6 p& f  e* S, S名称 source文件路径
: `% e  v9 f, Idebain /etc/apt/sources.list
) {6 N0 F  K: [; jpve /etc/apt/sources.list.d/pve-no-subscription.list
2 V8 c$ d' \, [6 ~ceph /etc/apt/sources.list.d/ceph.list
( V( Q1 h4 u4 R# Z! M- L: h操作流程：
1,通过web管理页面中的shell或ssh登录后台。

/ d; T3 p# |9 E# R3 d; S$ C. b 2,更换debian源：
awk
vi /etc/apt/sources.list
! K) o- W) r8 s2 |+ c删除默认的源，替换为：
+ U4 q" k  ^4 E* O( l' Cawk
deb http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
- t) ^% ^5 R+ R* N. m& O# deb-src http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
deb http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
% O0 {/ G6 E8 ndeb http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
/ \" \  Y8 u) H2 \. p& x. v; s) L3,更换pve源为非订阅源：
awk
- I- r- b' i7 g8 N    //备份默认源：
7 E; S% h: X# G' u7 ^7 hmv /etc/apt/sources.list.d/pve-enterprise.list /root
    //创建pve-no-subscription.list文件：
vi /etc/apt/sources.list.d/pve-no-subscription.list
; C! I' k+ s9 O    //增加以下内容：
  }; g: `' W; pdeb http://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription
. {& b# O) a$ f- k& P9 W$ p4,更换ceph源
awk
: y% p. c( }& \/ A& e5 z- _    //创建ceph.list文件：
vi /etc/apt/sources.list.d/ceph.list
& i0 g) t& e3 J' ?    //增加以下内容：
) U9 A7 _6 c4 s* r. sdeb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus buster main
5.更新软件列表
ebnf
2 W* p% j4 h$ x( ?- M1 Rapt update
6 y3 @7 a; V5 A. [" {9 T/ K, u8. 更新PVE至最新版本（按需）
! P  D. W' X  H6 Z1 j根据实际需求决定是否更新为最新版本。
& S) e9 w5 x! _4 X8 N+ p, Z: U如需更新三台节点都需要执行：
ebnf
apt upgrade
# b' U; \1 {+ E7 M9 基础配置（三个节点都需要配置）
9.1 安装ifupdown2
/ [+ D! R' ]. b1 n( i$ L/ p此组件用于配置网卡后重启网卡操作：
: @4 u+ n7 X. g4 Gapache
apt install ifupdown2
) @. _# H+ n6 A5 M5 A& u  K5 H9.2 安装vim
cmake
apt install vim
. M0 {7 F! X" _" s9.3 配置ntp服务
* K0 S6 y  T3 S, Y1,配置统一的时钟源
如果有条件建议在内网部署一台ntp服务器，所有节点与内网ntp同步时钟。
  \- p5 o* }' h8 _如果没有内网NTP服务器，可以采用下列NTP服务器
stylus
阿里云：ntp.aliyun.com
  W7 ~4 s. K2 r国家授时中心：ntp.ntsc.ac.cn
2,将NTP取消注释，填写ntp服务器地址
$ ^* W$ m+ G' e( L( Hawk
vim /etc/systemd/timesyncd.conf

3,配置完成后重启时间服务
: C! @2 J8 ^. ^$ ~ebnf
7 @& X* A9 W+ ^: W1 Qsystemctl restart systemd-timesyncd
10 PVE网络配置（三个节点都需要配置）
10.1 PVE服务器网络拓扑
. y/ Y7 D- B5 d放一张图有助于理解配置，可以结合5.1.1章节拓扑图理解。

& J! ^3 j1 ?# A7 j- C# V10.2 管理网络
1,编辑vmbr0
移除eno0，以便于将eno0加入到bond0中
8 k& N% O9 k: F删除桥接端口中的eno0，然后点击OK。
8 f4 C" _* [8 N7 W( n
2,创建bond0
( o, a  o: a; g+ h3 C点击创建Linux Bond。
$ F! z, ]) M# t; i. y+ G名称：bond0
slaves：eno0 eno1
( X5 x3 I& r4 @" L( j1 l- ~4 u模式：LACP (802.3ad)
Hash策略：layer2+3
* @% R  N; _) {( `1 R( R4 u按以上参数配置，然后点击OK。
9 w% H) M3 }9 b5 ]  _- d
# h) k& E- d, v/ a* Y 3,编辑vmbr0
桥接端口配置：bond0。
0 n" Q. V, I: l& V. p* H. N选中“vlan感知”选项，然后点击OK。

4,应用配置
如果感觉配置有问题可以点击还原按钮，还原为配置前状态。
如果没有问题，点击应用配置使配置生效。
网络配置不正确可能会导致无法管理节点，应用配置前请确认配置正确，如果出现无法管理的情况需要进入shell手动修改配置。
10.3 业务网络
业务网络配置与管理网络类似。
1,创建bond1
点击创建Linux Bond。
+ _; n# R, Z7 T- j9 \名称：bond1
! h% o* m& e- z0 `* @slaves：eno2 eno3
7 O6 C) F; A! O0 q* K模式：LACP (802.3ad)
Hash策略：layer2+3
. Z2 b' P) o  P' w. }: Q按以上参数配置，然后点击OK。
9 D' e% D* Q' L  W$ T6 J' o
/ ]% @, E( b* w2 y* C 2,创建vmbr1
7 V4 \% U4 r! c桥接端口配置：bond1。
选中“vlan感知”选项，然后点击OK。
, l/ K- |) [+ C; b: y
3,应用配置
点击应用配置使配置生效。
10.4 网络配置检查
; u  X: \6 z* ^5 m' H4 N- ^在交换机中检查聚合接口状态是否正常。
) [- j. U% [1 G! j) Qapache
display eth-trunk 101
display eth-trunk 102
display eth-trunk 103
  L# G, t3 P' m1 Sdisplay eth-trunk 104
7 f2 _9 @9 P1 Y5 P7 Adisplay eth-trunk 105
display eth-trunk 106
查看所有eth-trunk接口状态，Status为Selected，则聚合接口正常。

11 集群组建
1 }  @' o9 N  y  j创建集群，将三台节点加入同一集群。
" L4 v, B/ R+ k8 N1 u. n! K" Y1,在其中一个节点上点击，”数据中心“ — ”集群“ — ”创建集群“。
: F- M% F4 @8 y6 h2,点击加入信息，复制加入信息。

: n7 Z8 s$ K- v/ u 3,在其他两个节点上，点击加入集群，粘贴加入信息，然后输入第一台节点的root密码，即可完成加入。
8 H) Z6 w- e$ d- l
2 @# J7 L8 o9 W6 _# [ 4,加入集群完成后需要刷新页面才能正常使用，全部加入完成后，就可以在一个节点上管理集群中所有节点了。
/ t: B! Q& X$ b
12 ceph
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。它可以将多台服务器中的硬盘聚合成一个集群，对外可提供文件存储、块存储、对象存储等多种形式，ceph的另一个特点是数据采用多副本方式存储，避免由于单点故障造成的业务中断和数据丢失。
2 r0 s' U$ S/ e+ I/ e; jPVE自带了ceph的图形化安装、管理工具，集群搭建完成后，可以快速完成ceph的安装、配置。同时pve也提供命令行工具，可以使用命令行对ceph进行自定义配置。
! T  ^- y+ R1 i/ E$ O1 g" n12.1 ceph磁盘规划
& O8 U# T) m- S: U2 q) i+ X我的环境中，sda到sdh为8块HDD硬盘，sdi到sdl为4块SSD硬盘。
为提高hdd的性能，我们将sdi作为所有hdd硬盘的DB盘，将sdj作为所有hdd硬盘的WAL磁盘。
% r4 l3 ]2 J* y9 S. i' w请注意DB盘和WAL盘不能相同，如果只有一块SSD可以将SSD分为两个区，分别作为DB盘和WAL盘。
分区建议：根据PVE文档建议，DB盘容量=数据盘总容量10%，WAL盘容量=数据盘总容量1%，假设数据盘共8T，则DB分区容量需>800G，WAL分区容量需>80G，考虑到单位换算及损耗，需要适当增加容量，请根据实际情况规划。
详细规划如下：,
; C, e3 j2 @5 ?4 {' ^) T! l$ ]物理路径    磁盘类型    DB磁盘    WAL磁盘    角色
$ ]6 W; Z% j+ U( Z: Y2 ^$ ?) O/dev/sda    HDD    /dev/sdi    /dev/sdj    数据盘
' t, ]# h+ H* K' l; y3 @/dev/sdb    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdc    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdd    HDD    /dev/sdi    /dev/sdj    数据盘
) d8 E; g; D! P, e' Z, Z, S+ r8 K/dev/sde    HDD    /dev/sdi    /dev/sdj    数据盘
3 n) W; ~7 ]" n/dev/sdf    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdg    HDD    /dev/sdi    /dev/sdj    数据盘
0 c% B2 }2 d" P# j/dev/sdh    HDD    /dev/sdi    /dev/sdj    数据盘
: B) p: v9 T* i: b' v/dev/sdi     SSD    不适用    不适用       DB盘
0 ^% g) u' t. k/dev/sdj     SSD    不适用    不适用       WAL盘
/dev/sdk    SSD    /dev/sdk    /dev/sdk    数据盘
/dev/sdl    SSD    /dev/sdl    /dev/sdl     数据盘
% K+ `' w9 x# c$ `12.2 ceph安装
& @- b, k8 o( q; D) J2 c在全部节点中，安装ceph组件。
, H' q- g  h' o0 c( o1，选择节点 — ”ceph“ 点击 ” Install ceph ”

2，选择版本，此处选择 “ 15.2 ”

3，入 ” Y “ 开始安装
8 ]5 {% e9 ^, l1 e如果软件包下载速度较慢，可以先安装一台，然后将安装包拷贝到其他节点相同路径中。
$ C6 ^# Y+ H! i: w, B% t4 K, `2 \$ |0 m安装包保存路径：/var/cache/apt/archives

12.3 ceph配置
此配置是将ssd硬盘和hdd硬盘分别创建pool，分别为sdd_data和hdd_data，如需将ssd作为hdd的缓存层请关注我的后续文章。
: {8 _) _. t# Q  s
3 m/ v7 N) G: o8 K% x! @12.3.1 创建osd
( ~" l+ V: @9 s! W0 o  ]在 ”ceph“ — ”osd“ 选项卡创建OSD。
正常情况下磁盘类型会自动识别，如果识别的不正确，注意手动调整。
创建方式如下：
. y/ K5 |0 [4 D9 S  R0 tHDD盘
    创建hdd时注意选择DB和WAL磁盘。

5 P6 g& `% w0 u3 |( c# p% J) ^) zSSD盘

如果创建时类型选择错误，可以用命令行修改：
7 U' \2 J: X- I  ]% @假设osd0需要更改。
1，删除osd类别信息
- r) ]5 S/ S- Q& e2 v1 d7 f4 Vstata
5 \; ~- a; i- }# x/ }ceph osd crush rm-device-class osd.0
& {0 M6 |' r0 c! y1 @$ V2，设置osd类别信息
4 d! S# f3 G% k1 `* Edsconfig
ceph osd crush set-device-class ssd osd.0
12.3.2 创建class rule
创建HDD rule
dsconfig
: J& E1 R, ^) U$ b& cceph osd crush rule create-replicated ssd_rule default host ssd
+ ~4 m8 _8 b5 }( H1 P. ?$ Y  y6 [创建SSD rule
  N9 K. m/ W3 l3 n) Adsconfig
+ e1 R0 ]) u- A& d" c3 v9 vceph osd crush rule create-replicated hdd_rule default host hdd
9 f/ D3 `* e- h5 z7 i- O- y! Y0 r12.3.3 创建存储池
/ n5 ~  J8 L* p) J4 G& T% l创建HDD pool
ebnf
5 t, ^7 d5 `; @) m6 S1 M+ Sceph osd pool create hdd_data hdd_rule
9 N. B) o3 Z7 _ 创建SSD pool
ebnf
2 l4 u& K) ~  y4 i) r0 l2 F3 Hceph osd pool create ssd_data ssd_rule
12.3.4 添加存储池至PVE
& o  ]0 A$ [0 s- t2 t/ b, B" P1 x0 n”数据中心“ — ”存储“ — ”添加“ — ”RBD“。
添加hdd存储池：

. E  j4 N8 R  f  P1 ]& s( } 添加ssd存储池：

$ P/ H# D; b3 K2 i& T. ]13 安全加固
1 `" {5 Q. q0 a  u. k13.1 配置公钥登录
( o; W0 }$ `6 w6 j4 M9 V$ i1，禁止ssh使用密码登录
vala
#编辑sshd配置文件
vim /etc/ssh/sshd_config
#将下列配置添加到最后一行
4 A: d, a; x0 N) p2 I7 i) ~PasswordAuthentication no
#重启sshd服务
systemctl restart sshd
2，生成密钥对
以xshell为例，生成密钥

* {, c+ V( M/ d设置名称及密码
设置密码为可选项，为保证密钥安全，建议设置。

3 v$ o8 v# s7 K" `( C3，将公钥上传至服务器中

awk
vim /root/.ssh/authorized_keys
13.2 配置OTP登录
$ P9 \: y$ q/ @3 _1，下载google身份验证器,
; O2 I& i9 X) N6 b    安卓
% ~/ ?8 V6 j' d& W$ [) {# s; k链接: https://pan.baidu.com/s/1R9u24JaTCj_0EMLJLpy9AA 提取码: 59ca 复制这段内容后打开百度网盘手机App，操作更方便哦
- E2 e: B2 f3 `  [- ]' u* h--来自百度网盘超级会员v6的分享
  
- T) H) o( N9 x4 f: `" _1 J    苹果
; M* U9 N" {& d- ^) _& [( u    在app store中搜索“Google Authenticator”
1 g4 K4 e* J% |; f2 C2， 添加令牌
    点击右上角用户名 - TFA，扫描二维码添加令牌，将令牌中显示的数字输入下方验证码框中，点击应用即可。
9 j8 L/ y3 O' Y/ t' ]& N2 d. v
3，为防止手机故障造成令牌不可用，请备份令牌
点击右上角三个点，选择转移账号，导出账号，选择需要导出的账号，备份此二维码或使用其他手机扫描此二维码。需要恢复时，用其他手机扫描此二维码即可。
' q- J( c2 E3 n1 S% H

admin

5.2 网络配置
8 n+ K/ G8 m+ c3 A3 B7 F5 @ 以华为交换机为例。
" O  m- y' F7 y. O' M5.2.1 创建vlan：
) K5 \* ]2 h4 c  }( ]' @4 V. tapache
vlan batch 3 to 5
5.2.2 创建vlan-if（网关）：
apache
8 U0 H, V: v3 i7 b/ ~! c interface Vlanif1      //vlan1，管理网络网关
ip address 10.1.1.254 255.255.255.0
  L& n" f2 L) L! v! b% q" I' r interface Vlanif3      //vlan3，业务网络网关
ip address 10.1.3.254 255.255.255.0
( I/ W9 N1 D/ B* S interface Vlanif4      //vlan4，业务网络网关
6 z: q- k5 |8 D, u% Lip address 10.1.4.254 255.255.255.0
interface Vlanif5      //vlan5，业务网络网关
ip address 10.1.5.254 255.255.255.0
1 j$ p$ t6 e2 T8 S2 x/ Y 5.2.3 创建聚合接口（eth-trunk）：
- t4 J2 Q  w. ?5 Y  dapache
% `! F! C! [. ?: e% y; W interface Eth-Trunk101    //用于节点1管理口
( n- i( }% A" Ldescription to-pve1-mgmt
1 @' K' D# s3 M! R. c) ?" pport link-type access
& Q( \6 S5 V5 e* t/ Z. `# Ymode lacp
* ~2 I: g3 B# B# B  { #
interface Eth-Trunk102    //用于节点2管理口
: \: W1 ]$ Z5 d' U8 V5 {description to-pve2-mgmt
3 j4 V) ]# j6 A/ e  Iport link-type access
* F1 M' p9 {9 j' q8 ^$ m$ cmode lacp
/ A3 ]+ _5 }4 x  n1 H( j# S #
0 N/ p4 g( B/ _$ c9 q  h interface Eth-Trunk103    //用于节点3管理口
description to-pve3-mgmt
port link-type access
mode lacp
#
; z4 ^, i1 {$ v& G6 ?- \. h: o* K interface Eth-Trunk104    //用于节点1业务口
description to-pve1-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
mode lacp
7 y- W; v3 g& `% O0 b2 f #
: S( Z" x  |  S* L% |" r1 p8 w interface Eth-Trunk105    //用于节点2业务口
description to-pve2-yewu
* k6 O+ Q! Z8 F  Jport link-type trunk
* O9 v5 n- c3 t5 i5 sport trunk allow-pass vlan 2 to 4094
8 `" p2 f6 F) imode lacp
! z; _, B9 n" g- e2 \# i5 U #
- x1 T+ {0 V/ O6 W- x interface Eth-Trunk106    //用于节点3业务口
+ N* H* i! f: x9 Z: Adescription to-pve3-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
$ j7 P! ~; m' W  wmode lacp
3 r( E* O% z' w 5.2.4 物理接口加入聚合接口
6 Q6 t/ C- D( `1 [" {apache
4 U1 f/ u: H6 r2 n3 {+ W% ^ interface GigabitEthernet0/0/10    //连接节点1管理口eno1
description pve1-mgmt-eno1
eth-trunk 101
, ^* j8 Y% Y( ]  ?0 P* U  J7 k7 E# c #
interface GigabitEthernet0/0/11    //连接节点1管理口eno2
description pve1-mgmt-eno2
7 s; X/ P/ \7 d3 i; i$ c0 Beth-trunk 101
#
interface GigabitEthernet0/0/12    //连接节点2管理口eno1
2 n. C/ k1 v0 l9 H/ Q" c  jdescription pve2-mgmt-eno1
eth-trunk 102
#
interface GigabitEthernet0/0/13    //连接节点2管理口eno2
1 A% n+ y1 h. l5 P& T* f& Ldescription pve2-mgmt-eno2
eth-trunk 102
- x1 r9 q/ p, D# ^ #
# G% `: d( F) M! p% H interface GigabitEthernet0/0/14    //连接节点3管理口eno1
description pve3-mgmt-eno1
5 C0 t# Q" E" @eth-trunk 103
#
# n4 H! `2 _# W, F+ m interface GigabitEthernet0/0/15    //连接节点3管理口eno2
( _4 i( f1 \. p' cdescription pve3-mgmt-eno2
eth-trunk 103
- f, N# j* U; z0 S, k9 e #
% U$ b7 ~( s1 e1 ?5 v5 @8 x interface GigabitEthernet0/0/16    //连接节点1业务口eno3
+ Q, I+ `1 t. ~/ X; y- s- P1 S( v: odescription pve1-data-eno3
eth-trunk 104
#
interface GigabitEthernet0/0/17    //连接节点1业务口eno4
description pve1-data-eno4
eth-trunk 104
#
interface GigabitEthernet0/0/18    //连接节点2业务口eno3
description pve2-data-eno3
& k. f6 ~% J( g0 r) Y: G6 {( keth-trunk 105
$ k. c3 q9 z2 H  j! H9 O #
interface GigabitEthernet0/0/19    //连接节点2业务口eno4
description pve2-data-eno4
0 W+ z& b1 P' U% o9 v- Jeth-trunk 105
#
, ^1 ^7 q. m9 J  T) Y8 c" _ interface GigabitEthernet0/0/20    //连接节点3业务口eno3
description pve3-data-eno3
eth-trunk 106
#
; _" t6 t8 v7 M) H3 m  ` interface GigabitEthernet0/0/21    //连接节点3业务口eno4
2 D: X2 w$ F" ~* cdescription pve3-data-eno4
eth-trunk 106
3 O, d+ A) {( {$ n& d$ l 6 PVE安装
1，选择第一个选项，安装PVE