containerd 作为容器kubernets后端容器 相关操作

admin

配置Containerd
" C+ K) }/ i8 s* B2 u: J" O0 b3 D在配置文件/etc/containerd/config.toml中添加以下内容：

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  S, E) d& |8 U& O# z( k2 _ ...
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
2 D1 Z4 Z! f& Q5 k- ~4 [   SystemdCgroup = true
/ n2 _9 \6 b* Y' p5 a
9 S1 O# e0 |; p, U0 C* k重新加载Containerd配置并启动服务
' L6 Z; Q  T+ \) t# Y0 M1 @使用以下命令重新加载配置文件并启动Containerd服务：


' P  D+ k9 S# |sudo systemctl daemon-reload
sudo systemctl restart containerd.service
验证Containerd安装是否成功
+ R, k* O! G9 F1 _运行以下命令验证Containerd是否已成功安装：


2 O! U' D1 c: ?# @
! O8 v( ~: b2 [sudo ctr version
输出应为：
) v- B4 V: x" K
! m. @% ?3 A$ H! |: ^- k" ?
codeClient:
Version:  1.5.5
  \+ H( X! w$ {4 ^! L/ G Revision: 09a19cb71a40ac5ab8686245e5a5fb5e5d25c144
8 C) t" a9 N* w0 b) _ ...
4 C4 d- \% J% `" `4 v
- o$ r  z( W1 A5 b4 ]# YServer:
% p$ _0 x( S4 u Version:  1.5.5
Revision: 09a19cb71a40ac5ab8686245e5a5fb5e5d25c144
% g5 f. o- ~9 P8 J( V0 A9 ^! | ...
6 \4 [8 A' J5 b. }# ]以上就是在Linux系统中安装和部署Containerd的步骤,在安装和部署完成后，可以使用CLI命令或者API接口来管理容器和镜像，例如：

: s& ~) n* ]0 C  C
6 b' p8 S6 r4 L7 ~/ a
# 拉取一个镜像
containerd ctr image pull docker.io/library/nginx:latest
. N7 i8 f, V/ D4 |% A
( x5 B& C$ r2 m3 H# 创建并启动一个容器
4 ?* G+ ?8 W- n3 i' Gcontainerd ctr run --rm docker.io/library/nginx:latest mynginx

+ g8 e9 T5 I( o; a  X0 U% B( ], V# 停止并删除一个容器
* o: P1 Z7 j) Xcontainerd ctr stop mynginx
0 N- K- C1 {) q' m3 ucontainerd ctr container rm mynginx
Containerd还提供了CRI插件，可以用于Kubernetes集群中的容器运行时

2 W8 z) m& V, ?8 A7 w' q2 _
6 x: q4 a7 c$ D: q9 H( X9 \
* F1 q+ F( g! w5 d3 S- A

admin

#查看镜像：
' l7 p, U' U5 Z7 W/ j3 X( ?: sctr images ls
3 I+ j3 W& V3 }' H--------

6 d0 I0 @$ C" Q; c
##下载镜像
/ [: r( S5 M) m$ ^8 R/ Ocontainerd 支持oci标准镜像 所以可以直接使用docker官方或dockerfile构建的镜像
6 ?' E. b. e% _
ctr images pull  --platfrom linux/amd64  docker.io/library/nginx:alpine

ctr images ls

镜像挂载
把已经下载的容器镜像挂载至当前文件系统
. n7 s" E' y$ xctr images mount  docker.io/library/nginx:alpine /mnt
& {7 q1 P5 R' u

admin

1、Containerd镜像管理
- F3 _1 F8 K; D! O/ K0 ^5 J8 K1.1 Containerd容器镜像管理命令
, Z: k! W( w, q6 W; a- Fdocker使用docker images命令管理镜像
/ W$ K( `; O2 Q" T8 }单机containerd使用ctr images命令管理镜像,containerd本身的CLI
/ F0 a# O% |6 m& c. g, _k8s中containerd使用crictl images命令管理镜像,Kubernetes社区的专用CLI工具
: u: }# Q0 ], s代码语言：text
2 ^1 x/ a; l2 B5 z% ]+ F复制
获取命令帮助
# ctr --help
NAME:
, R6 F. L1 ]: w# M5 N) ?; Q   ctr -
        __
. \2 t" v# n: a  _____/ /______
/ ___/ __/ ___/
/ /__/ /_/ /
# V4 X6 G3 K& |2 a% a3 |\___/\__/_/

: p& Q6 u0 _. C8 H......
; W+ G( C( x6 m, Y* S8 f代码语言：text
复制
获取命令帮助
( j& R: p5 n1 e7 e# ctr images
NAME:
   ctr images - manage images
" \' ]) F0 s! `: G* N
& r" S% _. W; z+ eUSAGE:
1 ~; ]& K! I  I7 f+ B   ctr images command [command options] [arguments...]
" u$ [5 ^5 e- m5 a
* Z6 ^4 i, w5 s9 S! lCOMMANDS:
/ @0 x' X4 M' Z' ~( q2 F3 X7 u   check                    check existing images to ensure all content is available locally
/ _4 l$ K8 q' R! f5 b9 z8 c& r   export                   export images
9 h* h2 `* I9 E% f' ~: K; |/ y5 g+ n   import                   import images
3 o6 |( J0 h. S. ]* G, x   list, ls                 list images known to containerd
) I) R& K: w; l1 Z   mount                    mount an image to a target path
   unmount                  unmount the image from the target
6 i1 n5 Z4 L5 ^. b- c   pull                     pull an image from a remote
   push                     push an image to a remote
5 |5 b2 z9 ]5 g4 }+ S1 w+ `0 a/ W   delete, del, remove, rm  remove one or more images by reference
# ]4 t% m, L1 o9 n- y   tag                      tag an image
   label                    set and clear labels for an image
   convert                  convert an image

OPTIONS:
3 H5 o. i  n" Z" A0 U, ]2 {   --help, -h  show help
5 \- P4 J5 l% \( i( v# t- @  B9 ^1.2 查看镜像
+ ^* ~- W, Q% y  T8 Q代码语言：text
复制
# ctr images ls
4 j6 `7 W+ i% K3 jREF TYPE DIGEST SIZE PLATFORMS LABELS
- g/ n& g: j1 _) a3 O% V1.3 下载镜像
containerd支持oci标准的镜像，所以可以直接使用docker官方或dockerfile构建的镜像
' B( ?2 s0 a1 D1 ~7 P: z
5 j1 `$ K( x) A2 F8 g代码语言：text
复制
# 镜像名不能简写，--all-platforms：所有平台，不加的话下载当前平台架构
4 x+ z' X' u) r$ t) |# ctr images pull --all-platforms docker.io/library/nginx:alpine
# ctr images pull docker.io/library/nginx:latest
& ]( \5 N0 r1 K
1 i: U' T! f* P# uname -a
# p5 F" l+ t7 p代码语言：text
3 o% }2 l2 u- J4 P复制
) O' ^# C) G- B0 V- Z$ c% ?  F说明：
% A8 T8 H8 l8 \: M1 b% k这里ctr命令pull镜像时，不能直接把镜像名字写成`nginx:alpine`
代码语言：text
; E  I# O  ~7 H8 s; ^- X复制
* M4 W& O0 o! N. T6 B& l" `, h查看已下载容器镜像
# ctr images ls
REF                           

TYPE                                                     

DIGEST                                                      
" `; m/ P; X5 K: u" e$ T, |. I
/ l: P/ N6 w4 K) q% c: \docker.io/library/nginx:alpine

application/vnd.docker.distribution.manifest.list.v2+json

. f# x9 k: i) bsha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3

: W+ {- [/ D2 P- v' X" |6 H0 MSIZE   
( a5 M1 d$ B+ ~# ?/ |  `
, V9 Y, p7 i" K+ e4 x1 m% {. }. XPLATFORMS                                                   
! I8 V! Q$ `3 h; x  Y/ c  d
LABELS

" T) [3 Q- ^! Y' a9 J* U) v+ y0 V9.7 MiB
) ?$ a' n7 K% X5 Z
2 C7 t* T9 @; T! I; r7 Rlinux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x

0 d: v8 |9 t5 O2 e( b代码语言：text
复制
指定平台下载容器镜像
# ctr images pull --platform linux/amd64 docker.io/library/nginx:alpine
. R' l9 @! n' j( }' U没有镜像是无法运行容器的。

, V! y& H  R$ M  v5 B% G4 ~1.4 镜像挂载
方便查看镜像中包含的内容。

代码语言：text
复制
$ e4 D1 q* X/ L( R/ b) n$ H把已下载的容器镜像挂载至当前文件系统
# ctr images mount docker.io/library/nginx:alpine /mnt
sha256:af2fcce448e2e4451a5f4796a9bf9cb5c9b5f88e0d6d10029cada42fb9d268ac
/ A# D4 N/ B3 b" b/mnt
. Z  B7 {2 w2 l& B$ f6 i5 ?5 P[root@localhost ~]# ls /mnt
2 x, \5 O' Z0 |bin  dev  docker-entrypoint.d  docker-entrypoint.sh  etc  home  lib  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
代码语言：text
复制
* ~) P7 R$ K( j+ |0 V1 X卸载
# umount /mnt
1.5 镜像导出
0 L3 ~* w  L9 b, L代码语言：text
" r$ Y7 ^. ?, u7 H7 g7 o7 A7 u复制
% p; w. A' L3 [) ]9 g把容器镜像导出
# ctr i export --all-platforms nginx.img docker.io/library/nginx:alpine
2 `( H: n7 a+ f代码语言：text
; O7 h- \: j+ }2 q复制
说明
--all-platforms,导出所有平台镜像，本版本为1.6版本，1.4版本不需要添加此选项。
6 M! N5 B* D4 C$ {5 @' g代码语言：text
复制
9 v8 U: X3 e5 @8 V9 J查看已导出容器镜像
# ls
nginx.img

1 A' e5 {# U0 z, T5 L8 ]# ls -lh
8 r$ m# r+ g9 L* n* y总用量 196M

& Z7 D: J: s- g+ w5 a-rw-r--r--  1 root root  73M 2月  18 14:48 nginx.img
* j# O0 |8 U. y* S$ J8 ]) m1.6 镜像删除
5 X- g* [. m' Z; P! u6 [0 Q代码语言：text
$ ]( ~' x9 ~3 [! p) p9 T1 U8 s复制
删除指定容器镜像
# ctr image rm docker.io/library/nginx:alpine
" j" y; Q6 [2 v' z- [% p9 ~docker.io/library/nginx:alpine

再次查看容器镜像
[root@192 ~]# ctr images ls
REF TYPE DIGEST SIZE PLATFORMS LABELS
9 S& ]' N- X5 i! e$ V- w1.7 镜像导入
, ]# W, @8 {3 b) h4 C& i代码语言：text
复制
导入容器镜像
7 R8 O% {! e4 f7 F$ W4 o  A# ctr images import nginx.img
unpacking docker.io/library/nginx:alpine (sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3)...done
1.8 修改镜像tag
代码语言：text
复制
/ ^" s3 B! r4 }/ L  J* Q  @# ctr images tag docker.io/library/nginx:alpine nginx:alpine
nginx:alpine
9 l, I7 k7 F( x5 N+ r. M/ ^
# 建议修改tag的名称为：镜像仓库地址/目录/镜像名
代码语言：text
$ u* g6 L, F" B3 D! H* x6 |复制
3 ?* i3 R1 ]6 l: @. {6 J说明：
把docker.io/library/nginx:alpine 修改为 nginx:alpine
代码语言：text
复制
- N7 j' \. H# Y6 O查看修改后的容器镜像
9 Y, ?' O: J0 x* I6 `' ~3 U# ctr images ls
8 V/ E: d' Q) d2 D* w6 X3 K3 BREF                            TYPE                                                      DIGEST                                                                  SIZE    PLATFORMS                                                                                LABELS
docker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 9.7 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -
nginx:alpine                   application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 9.7 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -
代码语言：text
复制
' @2 K* y3 L6 E7 j修改后对容器镜像做检查比对
6 {& Y1 Q$ V9 s2 H& R# ctr images check
0 y! K( w( l; V3 }' j$ _REF                            TYPE                                                      DIGEST                                                                  STATUS         SIZE            UNPACKED
docker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 complete (7/7) 9.7 MiB/9.7 MiB true

nginx:alpine                   application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 complete (7/7) 9.7 MiB/9.7 MiB true
8 Y0 p% d7 Y1 ]( g, O& I2、Containerd容器管理
+ j# e. J7 A  h/ e; t& P  H2.1 获取命令帮助
2.1.1 获取ctr命令帮助
代码语言：text
复制
[root@localhost ~]# ctr --help
NAME:
8 `. s' B' w+ s9 X   ctr -
  D7 v4 b* [. D0 x        __
  _____/ /______
! F- A8 [. x9 r; ?2 V / ___/ __/ ___/
/ /__/ /_/ /
\___/\__/_/
# q" [$ i2 M8 I3 U7 v
3 D$ r+ R3 F% }( K/ K( \' ^containerd CLI
, C! y: X0 P# C" A; e7 \3 d

. K, U2 K( @4 \! k% R4 D......
5 p) G- f2 ~/ }+ q2.1.2 获取创建静态容器命令帮助
代码语言：text
  f' x% W1 B; W1 l5 ~复制
# ctr container --help
) u2 v! L. x5 `" n- LNAME:
. ]4 b" ]: I  H3 f" _9 N0 U% c7 |9 @5 W   ctr containers - manage containers

USAGE:
   ctr containers command [command options] [arguments...]
3 J+ v. M( j2 m
4 R7 Q5 x8 e' P# RCOMMANDS:
   create                   create container
   delete, del, remove, rm  delete one or more existing containers
   info                     get info about a container
5 r0 Y( s. D* {$ c   list, ls                 list containers
   label                    set and clear labels for a container
1 m7 q9 z5 x' D* r7 ]   checkpoint               checkpoint a container
   restore                  restore a container from checkpoint

OPTIONS:
   --help, -h  show help
代码语言：text
! b/ F6 z9 v7 a/ U+ }" W复制
说明：
7 K! X& e1 V% l" Z2 J4 @9 j1 V7 T' K
使用`ctr container create `命令创建容器后，容器并没有处于运行状态，其只是一个静态的容器。这个 container 对象只是包含了运行一个容器所需的资源及配置的数据结构，例如： namespaces、rootfs 和容器的配置都已经初始化成功了，只是用户进程(本案例为nginx)还没有启动。需要使用`ctr tasks`命令才能获取一个动态容器。
$ }; T# B+ V9 i( _2.1.3 获取动态容器命令帮助
代码语言：text
2 C; d* F* Y6 y' X* X2 n# o复制
# ctr run --help
2 {0 l9 o  y1 ]: g7 ?7 J4 _" M0 V2 xNAME:
   ctr run - run a container

9 g) U9 ]! O/ p; ]% A  u......
代码语言：text
复制
说明：
使用`ctr run`命令可以创建一个静态容器并使其运行。一步到位运行容器。
2.2 查看容器
container表示静态容器，可用c缩写代表container
0 `; T" F5 N- H3 J& ]9 w
代码语言：text
" ]" Q6 S* @; ^- ]1 Y' i" }# @2 t复制
0 ]3 F- s9 e# c' S, M9 O# ctr container ls
CONTAINER    IMAGE    RUNTIME
或

4 p: V- I, M1 I0 Q" Y代码语言：text
复制
5 ]5 J' Y2 k, R$ H6 @% K/ f6 F# ctr c ls
CONTAINER    IMAGE    RUNTIME
以上命令无法查看出来容器的静态的还是动态的
' e4 ^) Y1 R3 E% Z
2.3 查看任务
task表示容器里跑的进程, 可用t缩写代表task

代码语言：text
4 r$ o. I: t2 J' e4 O复制
# ctr task ls
TASK    PID    STATUS
或
. l# c$ x" H2 O9 p1 K8 y$ A
0 X7 ]. H3 T) ?5 Y, o代码语言：text
& {, [1 T1 T2 b' ~复制
0 g) ?( h- a2 a0 {# ctr t ls
5 N* Z% ?8 ?( ]8 P) y2 k, hTASK    PID    STATUS
% I$ X# K. W4 Q; W2.4 创建静态容器
代码语言：text
复制
# ctr c create docker.io/library/nginx:alpine nginx1
" w5 ^6 k- w) A代码语言：text
' n  [  V$ b3 h$ G- E复制
: \& x/ r* G" S$ Y# ctr container ls
; F! e% m$ p) ?" y: yCONTAINER    IMAGE                             RUNTIME
9 p( Z7 \6 j! c* x# l! ~6 {% Lnginx1       docker.io/library/nginx:alpine    io.containerd.runc.v2
% ~$ k3 a5 h% @0 M代码语言：text
' M) t  `; ^% i复制
查看容器详细信息
; Z6 A! W2 c" P+ u2 p7 ?# ctr container info nginx1
2 I' n$ W4 g$ X, D2.5 静态容器启动为动态容器
- z. n/ ^  y+ l$ }( I% R代码语言：text
4 ?1 z7 O# H! j) N1 P& ?5 o4 l复制
复制containerd连接runC垫片工具至系统
# ls usr/local/bin/
  }# e( \' @4 G: s! @8 }$ Q3 ?containerd  containerd-shim  containerd-shim-runc-v1  containerd-shim-runc-v2  containerd-stress  crictl  critest  ctd-decoder  ctr
[root@localhost ~]# cp usr/local/bin/containerd-shim-runc-v2 /usr/bin/
代码语言：text
复制
启动task，即表时在容器中运行了进程，即为动态容器。
; T. c: Y; E3 @: y# ctr task start -d nginx1
" C. }, k& W% K  f% Y/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
- u5 {! S/ E* m$ |8 V1 Q/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
1 D: Z& _1 v% l2 ^/ N+ y代码语言：text
! @  c8 q: Z$ H复制
说明：
8 S0 M  A+ T2 O: A; g-d表示daemon或者后台的意思，否则会卡住终端
* o+ x- k8 B- b2 Q  g6 O, i代码语言：text
! A: K$ u5 u& C/ l  l' e8 n" }复制
: K# z/ `% t5 k1 f4 g$ r& C查看容器所在宿主机进程，是以宿主机进程的方式存在的。
# ctr task ls
# A5 a; m/ E9 A5 }3 h' H3 D5 R4 ATASK      PID     STATUS
nginx1    3395    RUNNING
/ A5 @# b7 H4 `2 n代码语言：text
复制
- f+ q% L/ j( W" |& _查看容器的进程(都是物理机的进程)
1 v* j% D# r3 I0 |6 r2 {# ctr task ps nginx1
( Q6 |3 G! z4 w+ \+ v0 ~) M5 U8 |* ZPID     INFO
" b9 Y/ W: K( `" T; W0 j, x; M. T3395    -
3434    -
代码语言：text
复制
物理机查看到相应的进程
! d2 I$ M3 I; x# I# ps -ef | grep 3395
root       3395   3375  0 19:16 ?        00:00:00 nginx: master process nginx -g daemon off;
101        3434   3395  0 19:16 ?        00:00:00 nginx: worker process
! P. y+ Y. W$ b2.6 进入容器操作
6 Z% E8 O2 w6 q. |& E: O3 g代码语言：text
. _! U' u  M9 n" f  I复制
- E# L& s& r! T, ~+ H, k! v) ^# ctr task exec --exec-id 1 nginx1 /bin/sh
; x. a3 C/ k# M8 @7 r5 V8 l
& I% {+ h6 F! g2 ~5 a5 l# ifconfig 查看网卡信息

...
. H6 r. v5 ]  Q
( i/ i0 z1 K9 i, `# curl 127.0.0.1 访问本地提供的web服务
; |9 z9 }+ I4 _( c* [...
代码语言：text
复制
说明：
为exec进程设定一个id，可以随意输入，只要保证唯一即可，也可使用$RANDOM变量。
, k5 N+ X0 m- z8 m* @# t6 o. j2.7 直接运行一个动态容器
代码语言：text
复制
, a/ v7 Q0 s/ r3 W6 v( j8 |% _# ctr run -d --net-host docker.io/library/nginx:alpine nginx2
) h' }3 F* D, `1 ~4 z/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
/ G1 r+ S; Q4 X/ \) _! J代码语言：text
复制
说明：
3 C2 a$ I/ p+ a5 `* -d 代表dameon，后台运行
  Q6 [9 c- H6 t" p2 P8 A# Q7 w* --net-host 代表容器的IP就是宿主机的IP(相当于docker里的host类型网络)
代码语言：text
6 f) p5 {3 x2 p8 R7 @) w, |+ O复制
" Z$ m) d5 v) F& @5 ~9 G; Y( |3 \6 y查看已运行容器
# ctr container ls
6 q3 K/ Y% d& iCONTAINER    IMAGE                             RUNTIME
1 y$ c' e- s+ X! d6 J3 qnginx2       docker.io/library/nginx:alpine    io.containerd.runc.v2
! I' _- p2 w3 }) f( x6 }代码语言：text
复制
" w$ B* F* E# I( C& m查看已运行容器中运行的进程,既tasks
4 @0 Q+ I9 x5 A  p0 N8 ]5 R# ctr tasks ls
3 v( ]0 J: `- S8 s" `3 YTASK      PID     STATUS
* Y+ T/ }3 s8 b" z  knginx2    4061    RUNNING
代码语言：text
复制
  r( N0 i- W. c7 A8 n进入容器
# ctr task exec --exec-id 1 -t nginx2 /bin/sh
代码语言：text
复制
/ # ifconfig
8 N% h2 m3 g* M8 Z+ F2 f* [" fens33     Link encap:Ethernet  HWaddr 00:0C:29:B1:B6:1D
6 l) C( R" l! H. ^1 x9 Z1 |0 w% z          inet addr:192.168.10.164  Bcast:192.168.10.255  Mask:255.255.255.0
/ T, f8 O$ v* E7 R          inet6 addr: fe80::2b33:40ed:9311:8812/64 Scope:Link
          inet6 addr: fe80::adf4:a8bc:a1c:a9f7/64 Scope:Link
; v) |0 N, G" E# Q) r9 H  X' S          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:55360 errors:0 dropped:0 overruns:0 frame:0
8 e, |5 M$ T, t* D          TX packets:30526 errors:0 dropped:0 overruns:0 carrier:0
2 z2 U/ j( Q! F5 f% X          collisions:0 txqueuelen:1000
; o7 m9 j" F! ]4 `" ?& a/ L% a          RX bytes:53511295 (51.0 MiB)  TX bytes:2735050 (2.6 MiB)
1 D3 n. O( u; ?; Y
4 B- M! x4 E- \+ ]# vlo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
5 P! ^. o6 {8 W, u2 v' w          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:68 errors:0 dropped:0 overruns:0 frame:0
$ S7 m3 p- C& L+ S% U' m2 J# e% Q          TX packets:68 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:5916 (5.7 KiB)  TX bytes:5916 (5.7 KiB)
- z  M  v1 z1 l2 o' K3 V$ h+ T
virbr0    Link encap:Ethernet  HWaddr 52:54:00:E9:51:82
1 x- x2 m% ^; x0 L7 M% L. e          inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0
! T' Q( U7 k. F8 |$ ~1 l/ q          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
- ]. q* t3 K7 X4 F3 M- J          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
7 G# c+ T! R$ a7 Z3 J          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
代码语言：text
0 F. f( w1 u# q1 j复制
& x# }* \$ o+ `. d: f- p6 b为容器中运行的网站添加网站文件
/ # echo "nginx2" > /usr/share/nginx/html/index.html
/ # exit
; o1 E/ v3 P3 w; g' `  f代码语言：text
9 s: s$ ~! w4 n8 ]复制
在宿主机上访问网站
[root@localhost ~]# curl 192.168.10.164
nginx2
; F( ^4 a1 }2 W7 V- Q2.8 暂停容器
代码语言：text
+ v5 {( I: a' x" _. b复制
查看容器状态
8 V1 i, I" r8 c" l( ^# ctr tasks ls
- c( e7 Y- i; t# X$ @: STASK      PID     STATUS
: Y% Y9 a' j# p' mnginx2    4061    RUNNING
代码语言：text
8 A; d* H$ n* a复制
# u. Z1 p) [1 W( z暂停容器
* F+ Z3 @8 e0 q! L1 ]2 q" ]. Y* h# ctr tasks pause nginx2
代码语言：text
复制
再次查看容器状态，看到其状态为PAUSED，表示停止。
# ctr tasks ls
/ c6 D" v* }! qTASK      PID     STATUS
nginx2    4061    PAUSED
, M" A- A# d) O& f& D: @代码语言：text
复制
[root@localhost ~]# curl http://192.168.10.164
2 S. x: B5 K# G$ I8 A在宿主机访问，发现不可以访问到网站
2.9 恢复容器
代码语言：text
3 n( Y4 J0 d: r6 ?: s9 U复制
使用resume命令恢复容器
# ctr tasks resume nginx2
代码语言：text
复制
查看恢复后状态
# ctr tasks ls
TASK      PID     STATUS
nginx2    4061    RUNNING
代码语言：text
复制
在宿主机上访问容器中提供的服务
# curl http://192.168.10.164
8 F1 `$ L! U- W; w8 l6 }nginx2
9 W5 I# i$ ?- m3 u- k% e2.10 停止容器
" a( \& _  T$ _, j3 M代码语言：text
复制
, `, W% D2 `3 a% B6 Y, n# ctr tasks --help
......
代码语言：text
6 O7 [( f! M! s% ?复制
+ R  `! m4 J) T) K使用kill命令停止容器中运行的进程，既为停止容器
# d) F* }/ Z3 {5 q' _, z# ctr tasks kill nginx2
代码语言：text
6 K& E. ]( r- Z  [0 M复制
2 \; F" z4 V  [5 X' A查看容器停止后状态，STATUS为STOPPED
# ctr tasks ls
. K2 h; k4 [6 m. PTASK      PID     STATUS
9 G, u" X+ s8 bnginx1    3395    RUNNING
nginx2    4061    STOPPED
: t. [8 [' T: U0 _5 c* n0 [; q2.11 删除容器
; R. t! ?! @" r$ O" G代码语言：text
复制
6 `  p3 l& \3 L9 @/ r# ctr tasks delete nginx2
必须先删除task，再删除容器
代码语言：text
) R' s' p4 O, H% f5 \7 U复制
查看静态容器，确认其还存在于系统中
& h: j1 H' X1 ]# ctr container ls
CONTAINER    IMAGE                             RUNTIME
( N# y! P. r$ K0 l1 X  v9 W" jnginx2       docker.io/library/nginx:alpine    io.containerd.runc.v2
" E" F7 @+ ?( _代码语言：text
复制
删除容器
% T; l! m+ x! F) V+ ?4 b; z4 f# ctr container delete nginx2
3、Containerd使用私有容器镜像仓库 Harbor
/ R% r# h0 ~5 L% N: P3.1 Harbor准备


3.2 配置Containerd使用Harbor仓库
& ~1 e! p: S( r) n3 Y3.2.1 Harbor主机名解析
5 h- l5 V" A0 f1 F% k6 ~3 ^在所有安装containerd宿主机上添加此配置信息。
# _, n, G! K; V0 H9 [: T
代码语言：text
8 i' P; Q9 N3 b3 l; K  R复制
* Z, O7 p& Z% l% z+ `- w# vim /etc/hosts
& m$ V; w; V$ D: |+ c. @' \, `3 W( J# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.165 harbor.kubemsb.com
1 Z8 b  x. l# f代码语言：text
复制
% m/ f  L7 D' B8 ^0 ^说明
* 192.168.10.165是harbor的IP
5 V2 U3 ]& K: Y) c) N1 Q
* harbor.kubemsb.com建议用FQDN形式，如果用类似harbor这种短名，后面下载镜像会出问题
3.2.2 修改Containerd配置文件
代码语言：text
1 T; G( S( X: @: @5 j" ?复制
. i+ Z" G# F' W% q1 C- k此配置文件已提前替换过，仅修改本地容器镜像仓库地址即可。
# vim /etc/containerd/config.toml
# cat /etc/containerd/config.toml
root = "/var/lib/containerd"
- L! j# E$ d( ~) ~state = "/run/containerd"
" Z/ h' D# K. ^8 \* S1 \0 [oom_score = -999

+ X% p! }! p" P8 s[grpc]
! V& B3 |9 w0 @) F8 C# i6 f+ F  address = "/run/containerd/containerd.sock"
  uid = 0
  a3 n; T9 ]9 n2 ^8 i* d5 {  gid = 0
  max_recv_message_size = 16777216
7 L' H( N/ R3 m$ k7 z  max_send_message_size = 16777216
- i9 d  J5 W3 i) j. ]
[debug]
# C# m/ K; s* \# l) b2 `( ?$ t4 {/ O  address = ""
7 P* b2 G3 i( F* O  uid = 0
  gid = 0
% _! D! E4 ?# t  @  level = ""
# P( k: S3 B* m) N! m
6 n3 f; r0 P/ Y; F% {[metrics]
! @, ^7 e. G$ Y' O2 L: u  address = ""
4 v7 i, P7 e; {( N: L, W  grpc_histogram = false
& x; |& X% O& H% ~, n, O6 m  ?+ n
, @9 U/ M* ~8 i/ K" t[cgroup]
  path = ""

[plugins]
4 _' t. Z5 n- K4 S) ~- T  [plugins.cgroups]
    no_prometheus = false
  [plugins.cri]
% B( R0 L* E4 L    stream_server_address = "127.0.0.1"
    stream_server_port = "0"
    enable_selinux = false
    sandbox_image = "easzlab/pause-amd64:3.2"
    stats_collect_period = 10
. _5 d6 ?: i- j/ h3 q* [( y    systemd_cgroup = false
    enable_tls_streaming = false
    max_container_log_line_size = 16384
    [plugins.cri.containerd]
2 o2 H& Z$ a8 q5 [. N) N* S/ K% G      snapshotter = "overlayfs"
$ J: w6 y  A1 s  {      no_pivot = false
- f8 K6 E! }$ s      [plugins.cri.containerd.default_runtime]
! K  P4 P; m; n5 e* S0 W7 A        runtime_type = "io.containerd.runtime.v1.linux"
        runtime_engine = ""
        runtime_root = ""
- F( y$ _( E/ r- B      [plugins.cri.containerd.untrusted_workload_runtime]
( ]7 a" r$ y; z9 @( x  M        runtime_type = ""
: U6 ^$ W5 I2 t7 M$ s        runtime_engine = ""
& U% q5 N* o5 P% Y* g        runtime_root = ""
: @0 r/ D, Y* b5 I( }    [plugins.cri.cni]
( O# }  n$ I4 z      bin_dir = "/opt/kube/bin"
( x0 _- h  {( @1 B7 y4 W      conf_dir = "/etc/cni/net.d"
      conf_template = "/etc/cni/net.d/10-default.conf"
    [plugins.cri.registry]
: `: v+ {: P% P7 G      [plugins.cri.registry.mirrors]
! W3 J& y% E1 @+ g2 H        [plugins.cri.registry.mirrors."docker.io"]
          endpoint = [
            "https://docker.mirrors.ustc.edu.cn",
4 `6 `6 ^9 }' {+ i& E            "http://hub-mirror.c.163.com"
          ]
        [plugins.cri.registry.mirrors."gcr.io"]
* _2 ]; f9 W6 i          endpoint = [
            "https://gcr.mirrors.ustc.edu.cn"
          ]
  a! I9 x) s' ^3 G7 a$ q9 W        [plugins.cri.registry.mirrors."k8s.gcr.io"]
          endpoint = [
            "https://gcr.mirrors.ustc.edu.cn/google-containers/"
          ]
        [plugins.cri.registry.mirrors."quay.io"]
0 R# \/ M6 Z8 i! f3 k          endpoint = [
            "https://quay.mirrors.ustc.edu.cn"
3 {& E8 h9 G% z( n& t  {8 ^          ]
        [plugins.cri.registry.mirrors."harbor.kubemsb.com"]   在此处添加,在镜像加速器下面添加这一段
2 V- H% l! Y% f% b. X: F9 i          endpoint = [
: ?4 ]% V$ u, U2 Z/ o* k; D$ E            "http://harbor.kubemsb.com"
8 |% m9 I1 ]& w( y' g! e+ ~' \- Q          ]
    [plugins.cri.x509_key_pair_streaming]
      tls_cert_file = ""
/ D# M# ~. E, b# v+ O  v      tls_key_file = ""
  [plugins.diff-service]
/ k" v. q0 s  T) u- o: V    default = ["walking"]
  [plugins.linux]
    shim = "containerd-shim"
: ?' t- n. b) ?7 t    runtime = "runc"
6 A* w0 y* E4 \5 A2 I3 s, w+ `6 K    runtime_root = ""
3 |* [& B$ Y+ I) F+ I8 q  M6 l: z    no_shim = false
    shim_debug = false
' F0 s& q" @  f( k2 @9 I  [plugins.opt]
- A2 @" r6 C5 h$ p/ D9 }7 Q    path = "/opt/containerd"
  [plugins.restart]
    interval = "10s"
  [plugins.scheduler]
    pause_threshold = 0.02
    deletion_threshold = 0
    mutation_threshold = 100
8 o) U2 v0 X5 E- C1 B# U    schedule_delay = "0s"
: x8 z* P. J5 F/ {5 l" t/ {    startup_delay = "100ms"
代码语言：text
5 F8 j0 T$ y" r4 z9 o3 u1 Z复制
( U; G9 Z  y+ ?+ V: o' L重启containerd，以便于重新加载配置文件。
# systemctl daemon-reload
# systemctl restart containerd
8 c6 V( g: T  j% P6 I3.2.3  ctr下载镜像
代码语言：text
复制
1 D2 ~7 M0 x# I8 F下载容器镜像
# ctr images pull --platform linux/amd64 docker.io/library/nginx:latest
, Q) w% H( X# s7 g代码语言：text
复制
说明:
* --platform linux/amd64 指定系统平台，也可以使用--all-platforms指定所有平台镜像。
代码语言：text
复制
7 D2 G  [  K- E7 L5 X查看已下载容器镜像
# ctr images ls
: L% z- B6 G7 [& D0 n+ {REF                              TYPE                                                      DIGEST                                                                  SIZE      PLATFORMS                                                                                                                          LABELS

8 g( S7 p9 y* z7 udocker.io/library/nginx:latest   application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
3.2.4 ctr上传镜像
上传到Harbor library公有项目

代码语言：text
复制
/ W1 O3 q! m4 L% ^, |) x( n# }; \重新生成新的tag
+ ]' z. H$ R- N' [# P# ctr images tag docker.io/library/nginx:latest harbor.kubemsb.com/library/nginx:latest
harbor.kubemsb.com/library/nginx:latest
9 u# @5 h+ w( b代码语言：text
4 w4 |# H! F" \) {. u2 U复制
查看已生成容器镜像
! k" O' J8 [/ Y. B" z. \, K; V# ctr images ls
REF                                     TYPE                                                      DIGEST                                                                  SIZE      PLATFORMS                                                                                                                          LABELS
docker.io/library/nginx:latest          application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
( b5 y6 R4 z3 Y1 o! F  Zharbor.kubemsb.com/library/nginx:latest application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
代码语言：text
复制
0 a1 p  X' T/ h; n+ g推送容器镜像至Harbor
# ctr images push --platform linux/amd64 --plain-http -u admin:密码 harbor.kubemsb.com/library/nginx:latest
代码语言：text
复制
说明:
& V' H" \: j8 N8 W
* 先tag再push
* L" E' X9 P* F/ k( S$ r$ M* 因为我们harbor是http协议，不是https协议，所以需要加上`--plain-http`
  P/ X) B) l9 o2 E* `--user admin:Harbor12345`指定harbor的用户名与密码
代码语言：text
复制
输出：
manifest-sha256:0fd68ec4b64b8dbb2bef1f1a5de9d47b658afd3635dc9c45bf0cbeac46e72101: done           |++++++++++++++++++++++++++++++++++++++|
$ k, P4 s, K$ ~% `* V5 Dconfig-sha256:dd025cdfe837e1c6395365870a491cf16bae668218edb07d85c626928a60e478:   done           |++++++++++++++++++++++++++++++++++++++|
% @1 O( m/ u' W3 H# _' Ielapsed: 0.5 s                                                                    total:  9.3 Ki (18.1 KiB/s)
, l# o  j* H( }. G% b% ^" Q) g; f
代码语言：text
" H( w& [6 ]( z9 P5 D1 v复制
下载已上传容器镜像
6 L' p6 c( l! D# ctr images pull --plain-http harbor.kubemsb.com/library/nginx:latest
, a% ]& H& {0 b% R! ~/ V

admin

Containerd 常用命令

在 Containerd 作为容器运行时的情况下，可以通过 ctr 工具或 crictl 工具来与之进行交互：
ctr 是 Containerd 自带的客户端工具

crictl 是 CRI 客户端工具，比较接近 docker 命令

此外还有 nerdctl 等类似工具，以后找机会给大家详细介绍。

9 @+ d1 e$ U, Z
. L6 {7 }5 Y' ^3 S; v# _/ j
1、ctr 命令
( t% a0 A2 E* B0 y5 i- n" I: G
# 镜像操作命令
ctr -n <ns> i xx                         # 镜像操作命令格式，默认 ns 为 k8s.io
  Q' E  V- h& e9 _ctr i ls                                 # 查看本地镜像列表，同 docker images
) h5 l7 ~. Y* X5 uctr i rm <镜像ID或镜像名>                  # 删除本地镜像，同 docker rmi -f <镜像ID或镜像名>
ctr i pull <镜像名>                       # 拉取远程镜像，同 docker pull <镜像名>
0 m9 Z& S. b7 Q' mctr i tag <旧镜像名> <新镜像名>             # 修改镜像名称，同 docker tag <旧镜像名> <新镜像名>
" O8 [5 ^$ c7 {ctr i import xxx.tar                     # 从本地文件导入镜像，同 docker load -i xxx.tar
ctr i export xxx.tar <镜像名>             # 导出镜像为本地文件，同 docker save <镜像名> -o xxx.tar

6 D) H/ r0 A. Q2 ~/ H5 y2 u# 容器操作命令
/ k! k7 ~# V- J. M# y1 }ctr -n <ns> c xx                         # 容器操作命令格式，默认 ns 为 k8s.io
7 ~- l3 ]; f3 ?2 G) j+ `ctr c ls                                 # 查看容器列表，同 docker ps -a，查看所有容器
ctr c rm <容器ID或容器名>                  # 删除容器，同 docker rm -f <容器ID或容器名>
; `' K0 R% S1 s! Tctr c info <容器ID或容器名>                # 查看容器信息，同 docker inspect <容器ID或容器名>
" Z& h, W6 J& U! [6 f! i5 M, r$ ^$ v9 sctr c create <镜像ID或镜像名> <容器名>      # 创建容器，同 docker create，仅创建容器（容器并未运行）
' k+ I6 U0 F: I) J6 p
% r& `0 p4 J8 M1 G  j( f2、crictl 命令
# 镜像操作命令
& C+ e( S3 v; b( ~: pcrictl img                               # 查看本地镜像列表
9 J. x" H6 q9 n. {% h) Acrictl pull <镜像ID或镜像名>               # 拉取远程镜像
crictl rmi <镜像ID或镜像名>                # 删除本地镜像

- S4 d, C9 W  S) w6 [  o1 o# 容器操作命令
; @0 w  d; A+ z) V, }% K9 }% S. mcrictl ps -a                             # 查看容器列表
crictl rm <容器ID或容器名>                 # 删除容器
crictl logs <容器ID或容器名>               # 查看容器日志
+ \; K, e8 {" R. {1 c+ }7 tcrictl stats / statsp                    # 查看容器 / Pod 资源使用情况

admin

# AMD架构
  `% j/ |* ?3 b0 Rwget https://github.com/containerd/co ... -linux-amd64.tar.gz
tar -xzvf containerd-1.7.21-linux-amd64.tar.gz -C /usr/
; I7 T9 F3 m5 t3 [) {; I4 Y0 l; A- n" D
$ I* K4 I1 H% B1 D2 ~& nsystemctl daemon-reload
) J9 X) w/ a3 m8 {3 q- osystemctl enable --now containerd
- @& _$ d5 E% ~
===================================================================================
. i  u4 d" N% I3 b( C4 P3 t# ARM架构
wget https://github.com/containerd/co ... -linux-arm64.tar.gz
" G- _# h% _) `+ P6 [3 g+ ztar -xzvf containerd-1.7.21-linux-amd64.tar.gz -C /usr/
% b3 T& W3 }: \3 x" h( V$ c
' Z+ G' L# W* Q( ~7 q# L( U+ ysystemctl daemon-reload
* l; R0 u: y, E5 vsystemctl enable --now containerd

admin

# 拉取一个镜像
& H( d7 E( _0 X" kcontainerd ctr image pull docker.io/library/nginx:latest

0 g# y; _' H9 _) @) T! F) l# 创建并启动一个容器
# s2 t- J% l* ^/ J6 h, Zcontainerd ctr run --rm docker.io/library/nginx:latest mynginx

# 停止并删除一个容器
2 ]  @; K  \% `, J1 ^containerd ctr stop mynginx
containerd ctr container rm mynginx

admin

配置Containerd
在配置文件/etc/containerd/config.toml中添加以下内容：

" [, d/ J, y' N, n& {[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
. Z# T; ?; U4 T3 M7 p ...
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
/ |- y+ j2 Y4 e   SystemdCgroup = true

admin

containerd config default | \
  sed 's@/var/lib/containerd@/data/containerd@g' | \
  sed 's@k8s\.gcr\.io@google_containers@g' | \
  sed '/SystemdCgroup/c \
( @1 v, J# ^2 t; }( e- _5 D* H            SystemdCgroup = true' |
3 F: j# O& m$ p8 g7 \  sed '/registry\.mirrors/a \
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.1.10:8082"]\
: a& y; `' b5 }+ ?1 ]          endpoint = ["http://192.168.1.10:8082"]\
0 D! |8 U: V; E. O' Q        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]\
3 @$ ~# _1 f7 U7 X/ }          endpoint = ["http://192.168.1.10:8082"]'> /etc/containerd/config.toml

+ o& T/ }  b3 z5 m9 I0 x* S2 j) ]. o% [
2 [  f2 q7 q7 o
$ q# w+ P. g& m# I
9 I. K5 x$ \$ ~5 \9 k& v1 i% E+ M( Xhelm upgrade -i --create-namespace ingress-nginx ingress-nginx/ingress-nginx --version=4.0.19 \

  R! m0 O* F( V) d- O, }    --namespace ingress-nginx \
    --set controller.image.repository=ingress-nginx/controller \
) r6 w0 Q0 \' z, D- v    --set controller.image.digest=null \
    --set controller.dnsPolicy=ClusterFirstWithHostNet \
6 p% }5 M/ q" x: S, z6 G    --set controller.hostNetwork=true \
* |4 w( m6 V" D5 U0 `, N% `1 a  L9 F7 U    --set controller.kind=DaemonSet \
4 w. {( ~* ~7 ^5 y. Z  B. r    --set controller.service.enabled=false \
0 L& P$ X- K& G1 O: f0 {    --set controller.reportNodeInternalIp=true \
( b- m8 l- O( O) W    --set controller.admissionWebhooks.enabled=false \
# s/ z4 Y0 [7 E$ s# t: |9 f    --set controller.ingressClassResource.default=true \
9 ]( n7 I- a2 {  L4 P! c  B    --set 'controller.tolerations[0].operator=Exists' \
0 u4 l* f/ w4 ?7 I& f    --set 'controller.tolerations[0].effect=NoExecute' \
6 J. l0 S4 ~( b! @2 j    --set 'controller.tolerations[1].operator=Exists' \
    --set 'controller.tolerations[1].effect=NoSchedule' \
. D5 Q3 A- P  A5 ?- s) P    --set controller.config.compute-full-forwarded-for=true \
; t: g1 d" d( Z0 O- d  j    --set controller.config.hsts=false \
# v$ }) e  J/ P3 u    --set controller.config.use-forwarded-headers=true