ceph+超融合环境方案

admin

1 Proxmox Virtual Environment介绍
　　Proxmox VE 是用于企业虚拟化的开源服务器管理平台。它在单个平台上紧密集成了KVM虚拟机管理程序和LXC，软件定义的存储以及网络功能。借助基于Web的集成用户界面，您可以轻松管理VM和容器，高可用性群集或集成的灾难恢复工具。
　　同时Proxmox VE对接Proxmox备份服务器，可实现对VM、容器的全量和增量备份，可显著减少网络负载并节省宝贵的存储空间。
# ~$ i; q$ z2 i7 G2 z3 C1 {( J$ j1 M
/ ~/ @# p$ [" D! U- V! M, G2 环境介绍
9 v6 r) j* F3 o* h' \　　本文章所述环境采用3台物理服务器（含4口万兆网卡），1台万兆业务交换机，1台万兆管理交换机。
　　注意：由于使用ceph搭建分布式存储，为保证性能，管理网络及业务网络强烈建议采用全万兆部署。
) Z9 ]& Y" e: c& K8 D5 S( ]2.1 软件版本
$ F3 n# {+ J) E; J+ i& Z　　本次部署采用当前最新版本：Proxmox VE 6.3
% }. h" P( U+ Z- G2.2 服务器配置
型号 配置 数量
6 V& X3 U8 [: {# U  I' Y# E: ~DELL R930 CPU：Intel® Xeon® CPU E7-8870 v4 @ 2.10GHz
, U  p4 e) g4 d; `& q2 n内存：512GB
RAID卡：PERC H730P Adapter
SSD：1.5TB 4块
! C. r) E$ ]% {HDD：1.2TB 10块 3
3 软件获取
" C7 i, E% D! c3 n( q4 l: T2 b　　访问官网下载ISO镜像文件
* L1 J6 h8 r4 i# d4 \  v; zhttps://www.proxmox.com/en/downloads/item/proxmox-ve-6-3-iso-installer
, p8 z1 s; B& S  i
4 RAID规划
) K! M' y3 u- m7 A! W" ~) R: x6 R. f( g4.1 系统盘
; {" K% N& Y- @5 K) p! U    建议采用两块SSD组成raid 1，作为系统盘。
    不同品牌服务器设置方法不同，请参照各品牌官方文档。
; z/ m+ M8 d4 d2 o2 b0 P: ]3 R4.2 ceph盘
% ]( @) Y1 S( x/ J    ceph不推荐基于raid盘创建osd，所以除系统盘外，其余磁盘全部设置为非raid模式。
    不同品牌服务器设置方法不同，请参照各品牌官方文档。
5 物理网络
　　生产环境对可靠性要求较高，所以建议采用链路聚合方式，将多个物理网卡绑定为一个逻辑接口，从而提高网络的性能及可靠性。
8 |5 Q; t, N" L6 c: g链路聚合可在以下三种模式中选择：
- I3 }8 V/ T0 _8 E& l   1，LACP（802.3ad）：基于LACP协议的链路聚合，此模式交换机需配置链路聚合，模式为lacp。
: F2 v, i4 v% [* d$ x; w   2，静态聚合：静态链路聚合，此模式交换机需配置链路聚合，模式为静态（华为、H3C默认为此模式；思科为on模式）。
' Q9 J! v. X) N$ I   3，Active+Backup：主备模式，网卡一主一备，主网卡故障时备份网卡接替主网卡工作，此模式交换机无需做链路聚合配置。
    若交换机支持LACP，推荐采用LACP模式。此处采用LACP模式进行演示。
5.1 网络规划
, s: p+ J6 Q! B- b( n* a5.1.1 物理网络拓扑
( j9 C) K$ o: K2 G
5.1.2 vlan及网段规划
7 @3 \2 m! V; x  f5 c( bvlan号 用途 IP网段 网关
1 管理 10.1.1.0/24 10.1.1.254
3 业务 10.1.3.0/24 10.1.3.254
6 j( h% L& I$ K4 业务 10.1.4.0/24 10.1.4.254
5 业务 10.1.5.0/24 10.1.5.254
5.2 网络配置
; z9 d- h( \% p& o( E以华为交换机为例。
5.2.1 创建vlan：
apache
vlan batch 3 to 5
5.2.2 创建vlan-if（网关）：
/ o' Z/ q" j3 ?- D4 @! Lapache
interface Vlanif1      //vlan1，管理网络网关
" w: ]8 G1 B! ^  A8 i9 _ ip address 10.1.1.254 255.255.255.0
interface Vlanif3      //vlan3，业务网络网关
ip address 10.1.3.254 255.255.255.0
/ N% e  W$ D& }" b! s. Ginterface Vlanif4      //vlan4，业务网络网关
ip address 10.1.4.254 255.255.255.0
, C* S5 [& z/ _& C% H- K/ pinterface Vlanif5      //vlan5，业务网络网关
. j0 L0 Q6 l# a/ [ ip address 10.1.5.254 255.255.255.0
8 c8 z8 p: e$ x0 I; ^- B. H5.2.3 创建聚合接口（eth-trunk）：
$ h& l9 Y4 ?4 O/ l7 aapache
interface Eth-Trunk101    //用于节点1管理口
description to-pve1-mgmt
8 I4 H% O# E) F port link-type access
% X, [6 ~9 `* k8 B2 w0 o& M mode lacp
' z$ {1 E6 g( |, X# a. V( {( _#
interface Eth-Trunk102    //用于节点2管理口
) \2 _$ P0 @& ?: O description to-pve2-mgmt
8 u; U9 q0 v3 N2 j* \3 q port link-type access
# B3 r" E' Y$ G" ~( n3 C0 H mode lacp
: [, Q/ K1 I  R+ X% M& r#
interface Eth-Trunk103    //用于节点3管理口
description to-pve3-mgmt
port link-type access
mode lacp
+ P  p) ]/ {) J1 c( `/ o2 e/ @#
interface Eth-Trunk104    //用于节点1业务口
description to-pve1-yewu
/ s$ I. Y* O0 v( E. Q port link-type trunk
port trunk allow-pass vlan 2 to 4094
1 ?" f7 ~- t( a( V: \2 ^) f1 @ mode lacp
0 N5 X3 r5 Z/ j7 u5 W3 j#
2 S7 i, A1 G% y* A( k5 Y4 l: ainterface Eth-Trunk105    //用于节点2业务口
description to-pve2-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
8 g$ V5 n. u* W mode lacp
#
interface Eth-Trunk106    //用于节点3业务口
description to-pve3-yewu
! a& X$ _+ f% b port link-type trunk
1 ~/ u. B1 d: y! K+ Y port trunk allow-pass vlan 2 to 4094
mode lacp
5.2.4 物理接口加入聚合接口
apache
interface GigabitEthernet0/0/10    //连接节点1管理口eno1
description pve1-mgmt-eno1
eth-trunk 101
#
interface GigabitEthernet0/0/11    //连接节点1管理口eno2
. f  y9 U! o" ~" |! H4 O* ?* d1 Z description pve1-mgmt-eno2
) b1 Y5 V* q6 [ eth-trunk 101
: h" W5 _" z6 f' d; Y#
interface GigabitEthernet0/0/12    //连接节点2管理口eno1
description pve2-mgmt-eno1
3 J5 R- P3 e' @ eth-trunk 102
#
interface GigabitEthernet0/0/13    //连接节点2管理口eno2
description pve2-mgmt-eno2
eth-trunk 102
+ e3 I9 x6 w! d- O$ i, ~" ?#
( O& d: P! B$ k# N8 [* \5 xinterface GigabitEthernet0/0/14    //连接节点3管理口eno1
' t9 f' m3 [# z: F& r9 v. Y  c6 o& m description pve3-mgmt-eno1
eth-trunk 103
#
interface GigabitEthernet0/0/15    //连接节点3管理口eno2
description pve3-mgmt-eno2
' C& K. \( `8 _7 X1 i+ ~* K& ? eth-trunk 103
( `1 P/ K  z8 t4 N  C2 e7 t#
4 S6 R  N. c1 x. A# \; ]5 Yinterface GigabitEthernet0/0/16    //连接节点1业务口eno3
" r9 |# `1 p4 c! l description pve1-data-eno3
eth-trunk 104
" b7 Q& S; _0 }( I6 V, x  L* T#
9 y' _) N: J8 ^' _* |' m" z& Z. sinterface GigabitEthernet0/0/17    //连接节点1业务口eno4
' d' J+ G7 h# ]3 o6 R description pve1-data-eno4
eth-trunk 104
% U/ [8 Q, r/ P$ K. r+ h. A; [1 Z/ S#
interface GigabitEthernet0/0/18    //连接节点2业务口eno3
description pve2-data-eno3
! V6 U2 |0 S( ?7 e5 [, ~ eth-trunk 105
" b# L; M+ y' G  P9 r7 i#
, q: C. F3 d% r" u5 I- p2 linterface GigabitEthernet0/0/19    //连接节点2业务口eno4
' B* J+ u8 |$ c5 f0 r+ D description pve2-data-eno4
eth-trunk 105
#
interface GigabitEthernet0/0/20    //连接节点3业务口eno3
description pve3-data-eno3
: _9 m" a( `, J eth-trunk 106
- _8 n4 r/ |$ ^' R& }#
* s  L5 p3 y/ pinterface GigabitEthernet0/0/21    //连接节点3业务口eno4
description pve3-data-eno4
* e  U3 L5 ?4 R- g' N( P eth-trunk 106
6 PVE安装
' \+ {3 g" q) F# \7 L1，选择第一个选项，安装PVE
% w, h6 C. |+ C2 ?( e% N3 \2，同意协议
  }7 Y6 e- ?5 ^% ]9 ]3，选择系统盘
注意：此处一定要选择RAID规划中创建的RAID 1系统盘

, R, \+ F9 ?4 f& F0 J4 e* t8 ^4，配置国家、地区,
5，配置密码、邮箱
" f# l( G1 `' B% b+ _/ q如果为生产环境务必配置为强口令。邮箱建议配置为真实邮箱
6，配置网卡、主机名、IP地址、DNS等信息
3 P% {$ n# P# D$ J5 {; }* j3 R此处选择服务器第一块网卡，用于管理网络，按我们的规划应为eno1
每个节点主机名不能相同，主机名可以参考以下规划，域名请按需配置。
- @  Y3 l" Y2 s0 o  `- b' ~序号 主机名 域名
4 y7 d' H- p# M$ t$ C4 K% N1 pve1 test.local
2 pve2 test.local
3 pve3 test.local
1 T8 o0 @' Y& O! w* o: I6 H主机名、IP地址等信息按实际情况配置，配置公网DNS，用于pve连接互联网。

! b$ f# H# @) m( Y# r6 `7，检查无误后点击安装。
2 {2 o/ U( m. ~5 ?, h
0 S7 P; o: g0 w7 K7 `6 J' D& O安装结束后重启，通过浏览器访问，出现以下页面证明安装成功。
地址：https://你的IP地址:8006
用户名：root
9 S* k  I/ @' f密码：为安装时配置的密码。
; ~) g9 f2 ]/ G6 `, a* [8 A域：选择Linux PAM
8，按照此方法安装全部服务器。
4 J% R0 |9 T1 E; g. H6 g2 E) c( o7 更换软件源（三个节点都需要配置）
由于自带的软件源速度较慢，此处选择科大源：http://mirrors.ustc.edu.cn
涉及的软件源有三个，分别为debain、pve、ceph，需要分别修改下列文件。
6 s5 }, ~" B2 v1 {) P/ I名称 source文件路径
# r! F9 m& a. D4 H0 pdebain /etc/apt/sources.list
pve /etc/apt/sources.list.d/pve-no-subscription.list
ceph /etc/apt/sources.list.d/ceph.list
* Q2 S5 Q& |5 w- l: i" m操作流程：
& d8 }, ~! y8 V: Q5 r; s0 }1,通过web管理页面中的shell或ssh登录后台。

2,更换debian源：
3 U" m! t" Y( ~( j- [awk
vi /etc/apt/sources.list
  Y8 Y9 v7 B9 h- _! R删除默认的源，替换为：
awk
deb http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian/ buster main contrib non-free
7 _) c, ?; o( j7 Ydeb http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
# x* {; S% R/ F+ U; ?: t# deb-src http://mirrors.ustc.edu.cn/debian/ buster-updates main contrib non-free
8 ]( u9 b: ], S1 _deb http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
# deb-src http://mirrors.ustc.edu.cn/debian-security/ buster/updates main contrib non-free
3,更换pve源为非订阅源：
- P  G" ^: y# Z$ Gawk
4 h  Q) P0 W7 d+ ~    //备份默认源：
mv /etc/apt/sources.list.d/pve-enterprise.list /root
    //创建pve-no-subscription.list文件：
vi /etc/apt/sources.list.d/pve-no-subscription.list
    //增加以下内容：
deb http://mirrors.ustc.edu.cn/proxmox/debian/pve buster pve-no-subscription
- ]$ L. x- D. n6 x' B! K4,更换ceph源
awk
0 x" q' e! R5 Z1 ^$ ?    //创建ceph.list文件：
vi /etc/apt/sources.list.d/ceph.list
* L9 b5 Q! C' m# A! b0 e8 z5 N    //增加以下内容：
deb http://mirrors.ustc.edu.cn/proxmox/debian/ceph-octopus buster main
. j# S% @# f& z3 e" D; U  Y3 ?5.更新软件列表
ebnf
apt update
, ?0 T, X0 ~1 Q8. 更新PVE至最新版本（按需）
" K4 j6 N( s# L1 G8 P  Q( [根据实际需求决定是否更新为最新版本。
如需更新三台节点都需要执行：
ebnf
* x" T* E, z- _apt upgrade
9 基础配置（三个节点都需要配置）
' \8 ^' c- Q, u% I) B( U3 k; K9.1 安装ifupdown2
: c# P% m, C; J& j4 D; U此组件用于配置网卡后重启网卡操作：
4 l7 G2 p+ e! s' hapache
  v, X5 b: L9 o& f3 J# Gapt install ifupdown2
4 G, y* y  J: T7 K& Z; K5 }2 _9.2 安装vim
8 A+ c/ ?3 n+ u+ ?/ kcmake
apt install vim
9.3 配置ntp服务
5 t( d6 b6 N7 n) w1,配置统一的时钟源
3 Q* J7 S7 F# B9 C, J, O如果有条件建议在内网部署一台ntp服务器，所有节点与内网ntp同步时钟。
% f$ E+ i( p$ s! h" s; f0 y如果没有内网NTP服务器，可以采用下列NTP服务器
stylus
8 E; R9 W# }* p阿里云：ntp.aliyun.com
国家授时中心：ntp.ntsc.ac.cn
2,将NTP取消注释，填写ntp服务器地址
7 E! [' C* l# b7 l, w& dawk
2 j" H$ y/ F7 Hvim /etc/systemd/timesyncd.conf
+ m$ ]5 L# E' @$ M! `: B
3,配置完成后重启时间服务
3 H" ]3 R( c3 r* Qebnf
systemctl restart systemd-timesyncd
10 PVE网络配置（三个节点都需要配置）
10.1 PVE服务器网络拓扑
放一张图有助于理解配置，可以结合5.1.1章节拓扑图理解。
, y0 X8 P2 S( ?1 V3 _. ^6 E
10.2 管理网络
3 e0 b; Y  o; r$ J1,编辑vmbr0
- C' Y; M2 E/ J2 m) O4 ]2 l0 Y移除eno0，以便于将eno0加入到bond0中
+ N8 h& }5 @3 Z' L% {+ p6 o删除桥接端口中的eno0，然后点击OK。
$ _; T2 L, ]$ B# o0 a+ g- [2 {' t
1 z( j( H, _5 I$ }8 d( Y9 c 2,创建bond0
; c0 w* H1 d* o* q# ]5 i点击创建Linux Bond。
名称：bond0
' M1 a! G: Z/ ~# z$ uslaves：eno0 eno1
模式：LACP (802.3ad)
Hash策略：layer2+3
按以上参数配置，然后点击OK。
" R3 ~* T; h, L) d1 _
3,编辑vmbr0
" b* `6 N5 P7 \, j# v桥接端口配置：bond0。
选中“vlan感知”选项，然后点击OK。

4,应用配置
) H* G7 {- q& ]2 E如果感觉配置有问题可以点击还原按钮，还原为配置前状态。
如果没有问题，点击应用配置使配置生效。
! d. ~* q( v; h- b/ R8 o3 R网络配置不正确可能会导致无法管理节点，应用配置前请确认配置正确，如果出现无法管理的情况需要进入shell手动修改配置。
10.3 业务网络
业务网络配置与管理网络类似。
1,创建bond1
( g1 }& W9 d& y/ {点击创建Linux Bond。
名称：bond1
* \. r3 {) O/ J+ A% kslaves：eno2 eno3
2 g1 V! \. j) \; {1 F2 L模式：LACP (802.3ad)
Hash策略：layer2+3
# j! B  u8 o2 z5 ]) E% U' Y( R3 N% \按以上参数配置，然后点击OK。
  r/ K1 d$ X, T2 K5 l# I
* D9 P. C% k+ ]9 p3 W 2,创建vmbr1
, |1 i& x! p5 L4 Q# X; T桥接端口配置：bond1。
+ O; l* a* z% {5 f  J选中“vlan感知”选项，然后点击OK。

3,应用配置
5 v$ [7 r/ Z3 K! r4 W5 c点击应用配置使配置生效。
6 Q9 `8 N4 B$ r+ Q  x7 O# m7 J10.4 网络配置检查
+ O7 \/ X; ?/ T( s$ p在交换机中检查聚合接口状态是否正常。
0 e/ m7 ?2 E1 H5 H- r4 ?, [( japache
display eth-trunk 101
9 z+ W! T0 n8 G. C( a* fdisplay eth-trunk 102
display eth-trunk 103
: I, e; f( H$ e$ o# {# w2 jdisplay eth-trunk 104
display eth-trunk 105
% _. a# x# Y' {, J4 Q0 [display eth-trunk 106
( b  t, n" I6 c$ Z查看所有eth-trunk接口状态，Status为Selected，则聚合接口正常。

11 集群组建
创建集群，将三台节点加入同一集群。
1,在其中一个节点上点击，”数据中心“ — ”集群“ — ”创建集群“。
0 ?* q' h% ]. }7 \# b  x2,点击加入信息，复制加入信息。
  p3 n" g4 _' r1 ^3 |1 w0 g
* b7 j: y2 e! E 3,在其他两个节点上，点击加入集群，粘贴加入信息，然后输入第一台节点的root密码，即可完成加入。

4,加入集群完成后需要刷新页面才能正常使用，全部加入完成后，就可以在一个节点上管理集群中所有节点了。

3 i5 `3 B: ^2 ]% @12 ceph
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。它可以将多台服务器中的硬盘聚合成一个集群，对外可提供文件存储、块存储、对象存储等多种形式，ceph的另一个特点是数据采用多副本方式存储，避免由于单点故障造成的业务中断和数据丢失。
PVE自带了ceph的图形化安装、管理工具，集群搭建完成后，可以快速完成ceph的安装、配置。同时pve也提供命令行工具，可以使用命令行对ceph进行自定义配置。
12.1 ceph磁盘规划
) B! S% o( S# E+ m0 J我的环境中，sda到sdh为8块HDD硬盘，sdi到sdl为4块SSD硬盘。
: O& @3 L1 T& ~) j为提高hdd的性能，我们将sdi作为所有hdd硬盘的DB盘，将sdj作为所有hdd硬盘的WAL磁盘。
请注意DB盘和WAL盘不能相同，如果只有一块SSD可以将SSD分为两个区，分别作为DB盘和WAL盘。
分区建议：根据PVE文档建议，DB盘容量=数据盘总容量10%，WAL盘容量=数据盘总容量1%，假设数据盘共8T，则DB分区容量需>800G，WAL分区容量需>80G，考虑到单位换算及损耗，需要适当增加容量，请根据实际情况规划。
详细规划如下：,
0 y8 m8 y: ?  w6 Z物理路径    磁盘类型    DB磁盘    WAL磁盘    角色
/dev/sda    HDD    /dev/sdi    /dev/sdj    数据盘
4 @7 }8 H1 X0 ~. C+ n/dev/sdb    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdc    HDD    /dev/sdi    /dev/sdj    数据盘
- ]% t1 i6 r9 _* @% m+ b9 p5 q) X9 L/dev/sdd    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sde    HDD    /dev/sdi    /dev/sdj    数据盘
9 @( x  @# B: p& D+ W% x6 l/dev/sdf    HDD    /dev/sdi    /dev/sdj    数据盘
$ ~" y. k% F  U  W, C' J& `0 l/dev/sdg    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdh    HDD    /dev/sdi    /dev/sdj    数据盘
/dev/sdi     SSD    不适用    不适用       DB盘
$ V: {3 P' V. [' M; t7 w; j/dev/sdj     SSD    不适用    不适用       WAL盘
$ B0 d# ^3 t) Z# v, y' g; T/dev/sdk    SSD    /dev/sdk    /dev/sdk    数据盘
% K4 v) ~3 ]* n) {* A! V/dev/sdl    SSD    /dev/sdl    /dev/sdl     数据盘
12.2 ceph安装
在全部节点中，安装ceph组件。
1，选择节点 — ”ceph“ 点击 ” Install ceph ”

2 N- F5 @) a0 h! J+ E4 {* H 2，选择版本，此处选择 “ 15.2 ”

3，入 ” Y “ 开始安装
# O8 [1 k! s  k( m3 t' j如果软件包下载速度较慢，可以先安装一台，然后将安装包拷贝到其他节点相同路径中。
( t( ?" p- R) ?# H- M, c( Z+ b0 A安装包保存路径：/var/cache/apt/archives

  k* c$ `# t& n& S( E* G4 I12.3 ceph配置
此配置是将ssd硬盘和hdd硬盘分别创建pool，分别为sdd_data和hdd_data，如需将ssd作为hdd的缓存层请关注我的后续文章。

12.3.1 创建osd
) G7 p( e4 P* \% h+ n在 ”ceph“ — ”osd“ 选项卡创建OSD。
正常情况下磁盘类型会自动识别，如果识别的不正确，注意手动调整。
创建方式如下：
' e+ B: s9 F& vHDD盘
% p1 n9 p2 Q9 F8 j4 J( D    创建hdd时注意选择DB和WAL磁盘。

SSD盘
5 {( s2 b$ N3 M* _9 T9 q9 F4 h* o
如果创建时类型选择错误，可以用命令行修改：
假设osd0需要更改。
4 A- k% S5 s) @) L1，删除osd类别信息
4 P& j; A6 U& t9 I3 qstata
, t& ?% n' x1 C. S; Uceph osd crush rm-device-class osd.0
! @6 h, E& f; t, e2，设置osd类别信息
# _, d) Q. V. e9 d6 Z4 @  {$ G8 Adsconfig
8 q/ v$ z5 u+ m- }9 h) qceph osd crush set-device-class ssd osd.0
12.3.2 创建class rule
2 k! E# }7 e& ^* g创建HDD rule
3 {: [2 \+ O& p4 V7 W6 ddsconfig
) Z' Q. w: s4 b; J8 O1 Iceph osd crush rule create-replicated ssd_rule default host ssd
; p+ F! |7 B  g7 |创建SSD rule
dsconfig
6 W% R: w% _: {ceph osd crush rule create-replicated hdd_rule default host hdd
: M2 k* V* d% J2 ?$ x12.3.3 创建存储池
创建HDD pool
ebnf
. N* K' V4 c7 S5 Pceph osd pool create hdd_data hdd_rule
创建SSD pool
& E9 s# ?6 U, {' }. D% E3 N6 Xebnf
ceph osd pool create ssd_data ssd_rule
0 _% t- J0 F# _" l3 ^7 x0 i12.3.4 添加存储池至PVE
" S; H1 ]4 O+ [; a8 \: R”数据中心“ — ”存储“ — ”添加“ — ”RBD“。
添加hdd存储池：

添加ssd存储池：

13 安全加固
13.1 配置公钥登录
1，禁止ssh使用密码登录
vala
$ C+ g4 t& n8 L. H# L#编辑sshd配置文件
. H+ z2 e3 I0 H0 s$ l1 q4 j% Hvim /etc/ssh/sshd_config
#将下列配置添加到最后一行
PasswordAuthentication no
: V) X8 N3 l2 O$ T2 ^#重启sshd服务
) p6 O; l- j7 f  F- O9 hsystemctl restart sshd
  i7 Y9 |( N# O) O* R& J2 K( Q2，生成密钥对
以xshell为例，生成密钥

设置名称及密码
3 W8 N, v* K" i3 ~- H2 {9 d设置密码为可选项，为保证密钥安全，建议设置。
( i7 m0 C  N6 V5 k' x4 ~
4 X& j" |" y& s$ h/ G) G& v3，将公钥上传至服务器中

! j( z; r8 I1 p0 rawk
vim /root/.ssh/authorized_keys
13.2 配置OTP登录
) J' ]! Y9 i/ V: q% C& ?: m2 r  v) E1，下载google身份验证器,
- S2 E1 O0 {2 D; s, r    安卓
链接: https://pan.baidu.com/s/1R9u24JaTCj_0EMLJLpy9AA 提取码: 59ca 复制这段内容后打开百度网盘手机App，操作更方便哦
--来自百度网盘超级会员v6的分享
+ K) r3 F, J- ^9 V1 `1 O# A$ A  
    苹果
    在app store中搜索“Google Authenticator”
2， 添加令牌
    点击右上角用户名 - TFA，扫描二维码添加令牌，将令牌中显示的数字输入下方验证码框中，点击应用即可。
4 T7 C' v" v5 c7 I5 `- B
3 S6 [0 p- M" O3，为防止手机故障造成令牌不可用，请备份令牌
! f( ~, Q1 L: k点击右上角三个点，选择转移账号，导出账号，选择需要导出的账号，备份此二维码或使用其他手机扫描此二维码。需要恢复时，用其他手机扫描此二维码即可。

admin

5.2 网络配置
* `, {+ D$ o( a  ^ 以华为交换机为例。
/ S6 x# s, j3 q5.2.1 创建vlan：
apache
vlan batch 3 to 5
% |# ~: s9 F! f, \% g 5.2.2 创建vlan-if（网关）：
+ v, s) }" x: m, mapache
interface Vlanif1      //vlan1，管理网络网关
/ V9 t/ N# d# t. ~, Sip address 10.1.1.254 255.255.255.0
interface Vlanif3      //vlan3，业务网络网关
" ]! t, e8 R. ~( V% U$ q2 vip address 10.1.3.254 255.255.255.0
/ Z" H5 L5 `. |8 f! p- z2 c6 T interface Vlanif4      //vlan4，业务网络网关
ip address 10.1.4.254 255.255.255.0
$ o& L* |% V7 k. a interface Vlanif5      //vlan5，业务网络网关
3 Q9 ^6 L7 v  [7 }% D4 Q. V1 pip address 10.1.5.254 255.255.255.0
, k9 y$ U7 U1 W 5.2.3 创建聚合接口（eth-trunk）：
3 }! `- k! y' ?) ^apache
, F- _3 d7 a: t. k: \( A interface Eth-Trunk101    //用于节点1管理口
4 d- F7 H) z1 Y7 a- A( ~2 @description to-pve1-mgmt
3 T, k' U% d  G6 W0 pport link-type access
- A4 v; A# b/ s6 }# z; V# xmode lacp
- w9 o( O% Z% W #
  f4 W' `, \- ^8 A5 K interface Eth-Trunk102    //用于节点2管理口
description to-pve2-mgmt
port link-type access
% W/ \- D# m7 d) x$ Nmode lacp
#
! I( X- Q2 b2 q: x9 c( x9 S; ]2 ?/ F interface Eth-Trunk103    //用于节点3管理口
- ~' }2 X# x8 R1 g+ c4 _1 mdescription to-pve3-mgmt
port link-type access
mode lacp
#
interface Eth-Trunk104    //用于节点1业务口
description to-pve1-yewu
2 x% F% h2 j$ B( U& Eport link-type trunk
0 s0 e; L! X+ x1 E+ [3 L& xport trunk allow-pass vlan 2 to 4094
mode lacp
#
2 Q4 H9 R, ^+ p7 j7 l interface Eth-Trunk105    //用于节点2业务口
description to-pve2-yewu
' X& I9 J3 Y# s" R4 J! iport link-type trunk
port trunk allow-pass vlan 2 to 4094
$ e: g, `! V+ x' ~5 D6 @mode lacp
# B" c, Y, b4 I  u* Z #
interface Eth-Trunk106    //用于节点3业务口
9 L& v+ R$ z5 K9 H; H4 J+ I6 [description to-pve3-yewu
port link-type trunk
port trunk allow-pass vlan 2 to 4094
mode lacp
4 X. I5 X1 R/ x* s* @ 5.2.4 物理接口加入聚合接口
apache
' v/ t% u3 s9 ]8 ^, c5 I interface GigabitEthernet0/0/10    //连接节点1管理口eno1
5 }0 r& N* L" G! Xdescription pve1-mgmt-eno1
# H: D7 T( C! Aeth-trunk 101
/ J8 U! O& d* O- u; O, s #
interface GigabitEthernet0/0/11    //连接节点1管理口eno2
description pve1-mgmt-eno2
* D' A& E7 t8 J* Ueth-trunk 101
. ^; d, b8 s; d% V* b; G" E #
interface GigabitEthernet0/0/12    //连接节点2管理口eno1
description pve2-mgmt-eno1
2 w0 Y" \" N( P( Z# Jeth-trunk 102
& r3 Y% h( N6 Y5 g #
' {1 q1 n  o1 P interface GigabitEthernet0/0/13    //连接节点2管理口eno2
! _3 }: ~( a8 P- qdescription pve2-mgmt-eno2
eth-trunk 102
#
interface GigabitEthernet0/0/14    //连接节点3管理口eno1
1 {9 V+ D, ]- o, |+ Q0 K- k8 udescription pve3-mgmt-eno1
- k3 {8 k5 F3 f0 Geth-trunk 103
6 a  b; U- ]  q& [1 I #
interface GigabitEthernet0/0/15    //连接节点3管理口eno2
description pve3-mgmt-eno2
) \6 u4 T" N7 F7 k4 Ueth-trunk 103
#
0 r' e: O! ?' B- X/ h interface GigabitEthernet0/0/16    //连接节点1业务口eno3
description pve1-data-eno3
$ t' z  M  M5 Jeth-trunk 104
1 J' m5 G& u. i  X, Z/ k4 o2 | #
interface GigabitEthernet0/0/17    //连接节点1业务口eno4
8 W( A  E/ l' K5 b  @5 ^description pve1-data-eno4
7 ?9 V- ~5 D9 o- A4 _* n; G8 ]eth-trunk 104
# g' V  m0 T6 S1 F #
+ U5 v4 @& v. e+ R6 i" a. [ interface GigabitEthernet0/0/18    //连接节点2业务口eno3
6 I0 Y7 T' a9 ]3 p8 g8 _  U! n; xdescription pve2-data-eno3
eth-trunk 105
" V5 }# {5 o# I& u #
interface GigabitEthernet0/0/19    //连接节点2业务口eno4
  K9 U7 o% d& n% Y( ]description pve2-data-eno4
5 f0 J3 _; q8 X9 Q  a# i. ~eth-trunk 105
" X: [5 p2 X( `) f/ r* Y' l #
interface GigabitEthernet0/0/20    //连接节点3业务口eno3
. S5 {* {* o" Q5 c; J9 N6 a& y+ vdescription pve3-data-eno3
eth-trunk 106
) f! D0 O7 U- S #
+ G- x4 g0 }4 E% D interface GigabitEthernet0/0/21    //连接节点3业务口eno4
6 l+ ~$ g! U- M7 I# Hdescription pve3-data-eno4
eth-trunk 106
- v7 c1 B0 V2 R. Q 6 PVE安装
; d* g3 H6 m9 ^) e4 e1，选择第一个选项，安装PVE