containerd 作为容器kubernets后端容器 相关操作

admin

配置Containerd
在配置文件/etc/containerd/config.toml中添加以下内容：

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
...
, R! M7 Q: r1 \  ?3 A0 R& i [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
/ W. i* D- e- O6 Y/ B3 h   SystemdCgroup = true

7 W9 c  J. U1 G& m; }  t8 `8 j% z& a6 f重新加载Containerd配置并启动服务
使用以下命令重新加载配置文件并启动Containerd服务：
' h4 {1 o+ Q% y9 _4 x0 S$ I

sudo systemctl daemon-reload
9 R1 e" Z* p& N0 x* e- Y7 Ysudo systemctl restart containerd.service
验证Containerd安装是否成功
# J1 v4 O) A: i* @+ `" D6 H& {运行以下命令验证Containerd是否已成功安装：
5 L% \1 _$ p# m. w4 Y; P
) h1 ^3 U* w( W# {# M+ O' t

2 G6 l* P; n, n+ E9 j! C1 ^" }sudo ctr version
输出应为：


codeClient:
Version:  1.5.5
' {- T5 R6 l2 ~5 P! @ Revision: 09a19cb71a40ac5ab8686245e5a5fb5e5d25c144
2 J9 Z' D5 X8 S- C ...
, R0 z: G* ]6 Q: p9 z
4 T2 N' ]- g, Y4 S# iServer:
! \7 i$ g( @0 \3 y/ @! W, q Version:  1.5.5
Revision: 09a19cb71a40ac5ab8686245e5a5fb5e5d25c144
...
+ B$ M8 L* Z& q6 S& s以上就是在Linux系统中安装和部署Containerd的步骤,在安装和部署完成后，可以使用CLI命令或者API接口来管理容器和镜像，例如：
( Q, ]; o$ R$ w- \9 s
4 \3 X7 s, b; w, f; ^1 Q+ c! |& r

# 拉取一个镜像
containerd ctr image pull docker.io/library/nginx:latest

8 O% d. F9 e) ]7 e% s. N$ H* N" M  P# 创建并启动一个容器
- E( Z: B* u0 X% Bcontainerd ctr run --rm docker.io/library/nginx:latest mynginx
9 T, j, w. h. @" r. F, j. G
9 n7 Z1 ?1 o" l$ c  }# 停止并删除一个容器
containerd ctr stop mynginx
containerd ctr container rm mynginx
Containerd还提供了CRI插件，可以用于Kubernetes集群中的容器运行时

8 n5 |2 M) w1 |

admin

#查看镜像：
5 L& k, h* Q: }7 x) k, S! kctr images ls
--------

, D5 u' u8 ?( b" u  a
. k) `$ c( t( b6 o) @##下载镜像
9 q- k# v+ {: ?& \* K$ qcontainerd 支持oci标准镜像 所以可以直接使用docker官方或dockerfile构建的镜像
* s" ^8 x& n7 L) F+ c7 ?
# K2 ]6 c+ c4 X! Gctr images pull  --platfrom linux/amd64  docker.io/library/nginx:alpine

ctr images ls
4 w6 A; U2 S$ g4 y1 `3 M
% Z4 H/ Q' n8 [, n1 I镜像挂载
把已经下载的容器镜像挂载至当前文件系统
' b! F* A; u$ J$ k9 bctr images mount  docker.io/library/nginx:alpine /mnt
* ?5 Q/ h' o! I) k! _5 u: A% G

admin

1、Containerd镜像管理
! H+ H0 o& R7 j1.1 Containerd容器镜像管理命令
docker使用docker images命令管理镜像
单机containerd使用ctr images命令管理镜像,containerd本身的CLI
4 E: b+ D: q' o( |k8s中containerd使用crictl images命令管理镜像,Kubernetes社区的专用CLI工具
# p& C1 y+ u/ L; K- h" P代码语言：text
2 R+ Q2 V' n& l( q3 w  j复制
* K9 z" z4 C, d; \4 b" m& D获取命令帮助
# ctr --help
NAME:
   ctr -
) ^& M" j; w& A        __
/ X0 B( I3 B; x9 Q  _____/ /______
/ ___/ __/ ___/
/ /__/ /_/ /
\___/\__/_/

......
, w* U, P& |' {* u$ ?9 p代码语言：text
: b4 {, u+ U( s2 c4 J. C" x/ Z- z复制
0 J/ r" o7 ]) l( F  p获取命令帮助
# ctr images
NAME:
/ ^  c4 r$ l3 T3 S4 ?. l1 r3 q( c   ctr images - manage images

USAGE:
   ctr images command [command options] [arguments...]
; D4 M0 h) Y' s* w5 S4 @
COMMANDS:
   check                    check existing images to ensure all content is available locally
   export                   export images
   import                   import images
6 M: b/ Y2 h7 C/ @, W   list, ls                 list images known to containerd
   mount                    mount an image to a target path
   unmount                  unmount the image from the target
) X! B" s" T0 C; K" x   pull                     pull an image from a remote
   push                     push an image to a remote
   delete, del, remove, rm  remove one or more images by reference
   tag                      tag an image
   label                    set and clear labels for an image
7 O0 f3 c3 v5 l   convert                  convert an image

3 @) F* W( |" I0 HOPTIONS:
   --help, -h  show help
/ W4 V$ L/ `2 T6 n; t1.2 查看镜像
* P- A  k& V* f7 s! \0 e代码语言：text
4 ?6 H8 x% u- @复制
# ctr images ls
# r0 ?( e+ n+ U9 l2 E* nREF TYPE DIGEST SIZE PLATFORMS LABELS
. Q8 V" Y: c" W2 ~' E" i4 X1.3 下载镜像
containerd支持oci标准的镜像，所以可以直接使用docker官方或dockerfile构建的镜像

0 e6 }% \" b3 u* Q- d代码语言：text
复制
5 `6 G1 E4 j" b3 \& c3 Y8 z# 镜像名不能简写，--all-platforms：所有平台，不加的话下载当前平台架构
# ctr images pull --all-platforms docker.io/library/nginx:alpine
1 M" t% b0 z; a# ctr images pull docker.io/library/nginx:latest
) c- v) k& Q) H5 c
# uname -a
1 v  a1 L, z7 O6 B5 |1 S$ Z# y代码语言：text
复制
- _" v) O' |4 M' a* z2 Z2 S( Y" J说明：
这里ctr命令pull镜像时，不能直接把镜像名字写成`nginx:alpine`
代码语言：text
& x# [4 Y7 ~  @1 W$ v' K复制
; ~: w& F' |" O查看已下载容器镜像
# ctr images ls
1 s* ?( w) o# f5 l8 a, OREF                           

TYPE                                                     

; T6 L/ }) y* X/ @9 o  c- `DIGEST                                                      
# v+ o3 G4 [* G: ~$ g
1 Q5 d7 D  v3 C- u; i6 Vdocker.io/library/nginx:alpine

application/vnd.docker.distribution.manifest.list.v2+json

% S8 r9 M$ k& t5 ^0 i2 M6 H. Gsha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3
- }# v$ [% B/ z! O) j; \5 P
SIZE   

* N+ a; r9 z1 B2 z. gPLATFORMS                                                   

LABELS
/ j2 f9 i- i3 h1 b5 @  S8 M+ ?" F
9.7 MiB
' }' A+ Q0 s% y; [
linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x
; o7 E( p& V- Y4 c# W
/ r+ T) m! ^& i8 \& m, e代码语言：text
复制
指定平台下载容器镜像
2 N! x: b2 R6 {' J4 o' h# ctr images pull --platform linux/amd64 docker.io/library/nginx:alpine
6 R0 s% A0 w' d$ U0 `没有镜像是无法运行容器的。
2 |3 `; I) M5 }, |6 e
1.4 镜像挂载
方便查看镜像中包含的内容。
) V# y, A) V, J0 h$ K, F/ |+ V
( j- ]( x3 s9 O$ [& |代码语言：text
  j) c- t# i+ ^1 y* T复制
9 M& g3 x6 x) v) k. g) N' X3 T( a( j3 h把已下载的容器镜像挂载至当前文件系统
# ctr images mount docker.io/library/nginx:alpine /mnt
sha256:af2fcce448e2e4451a5f4796a9bf9cb5c9b5f88e0d6d10029cada42fb9d268ac
/mnt
[root@localhost ~]# ls /mnt
bin  dev  docker-entrypoint.d  docker-entrypoint.sh  etc  home  lib  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
代码语言：text
- I% O) P% {1 x$ W) y/ L复制
) Q* ~" ^* s+ H9 n( s! m* ]卸载
# umount /mnt
1.5 镜像导出
& X' V5 o: i! W代码语言：text
+ _7 R* ?/ K! U# X7 V复制
把容器镜像导出
, {% w# h; b9 ~& C* F# ctr i export --all-platforms nginx.img docker.io/library/nginx:alpine
7 T$ p' _: J) ]! @% n$ @代码语言：text
复制
0 G3 u( u2 ]. F  c# r说明
6 A7 p! m! Z7 H8 I--all-platforms,导出所有平台镜像，本版本为1.6版本，1.4版本不需要添加此选项。
代码语言：text
7 d& E( ?7 D& X7 a. k9 q) p复制
) L, C' ]! y7 |查看已导出容器镜像
% W! ~) r* `  u5 ?. ]# ls
% y( e, @" a" e: o: I% d" X7 Vnginx.img
( N) D4 S0 b% |3 |8 X) _
# ls -lh
总用量 196M

-rw-r--r--  1 root root  73M 2月  18 14:48 nginx.img
1.6 镜像删除
6 a( k/ m: T/ g1 L8 m  Y+ E& K代码语言：text
复制
删除指定容器镜像
# ctr image rm docker.io/library/nginx:alpine
docker.io/library/nginx:alpine

再次查看容器镜像
[root@192 ~]# ctr images ls
REF TYPE DIGEST SIZE PLATFORMS LABELS
5 a! }+ Y9 v2 p: ^* c1.7 镜像导入
' S) x- f# M- y4 s7 T4 x代码语言：text
复制
+ C5 g8 A' |0 G  B! J% N导入容器镜像
# ctr images import nginx.img
unpacking docker.io/library/nginx:alpine (sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3)...done
1.8 修改镜像tag
代码语言：text
复制
# ctr images tag docker.io/library/nginx:alpine nginx:alpine
' C* r0 C! j! o/ v7 d- ?* anginx:alpine

* Z% H* t" `. s5 S+ U# 建议修改tag的名称为：镜像仓库地址/目录/镜像名
代码语言：text
复制
) }3 `$ j, `2 _( J+ ]说明：
把docker.io/library/nginx:alpine 修改为 nginx:alpine
代码语言：text
' E+ P9 u; c9 g7 @% V! d* ?; r( T# H复制
$ L8 n, F- i& o5 W) B5 g  U查看修改后的容器镜像
# ctr images ls
3 M% u; M5 k9 iREF                            TYPE                                                      DIGEST                                                                  SIZE    PLATFORMS                                                                                LABELS
: {9 l; n5 k5 Zdocker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 9.7 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -
nginx:alpine                   application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 9.7 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -
代码语言：text
) s9 t+ r6 L6 N: x复制
% F; P! F/ r- R* o修改后对容器镜像做检查比对
! F5 b' i9 M2 n% s9 F6 N& P: W# ctr images check
REF                            TYPE                                                      DIGEST                                                                  STATUS         SIZE            UNPACKED
3 ]  Z: }& k0 K: Q' i/ ~  ydocker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 complete (7/7) 9.7 MiB/9.7 MiB true
! v+ i, |! h$ H. T+ U8 F
7 g2 l5 H; i1 F4 V2 \nginx:alpine                   application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 complete (7/7) 9.7 MiB/9.7 MiB true
3 `) C4 @' G! u; S" ~9 a% K2、Containerd容器管理
2.1 获取命令帮助
7 E+ S1 C/ ?# _8 e( K( b; g4 p- \2.1.1 获取ctr命令帮助
代码语言：text
复制
[root@localhost ~]# ctr --help
NAME:
   ctr -
0 V2 I5 v6 M% w! e        __
  _____/ /______
/ ___/ __/ ___/
/ /__/ /_/ /
6 u; h* `/ w0 [# @7 m% P8 R\___/\__/_/

containerd CLI
- p, I: ~; I0 c& l% Y+ I: }

4 h  T. [7 U; ^0 w' N8 n: K......
) w$ R6 Q: z% M. p# p" M2.1.2 获取创建静态容器命令帮助
7 j2 Q8 \4 F8 e# U2 n代码语言：text
7 n" Y* k2 d# e6 {. |, t复制
# ctr container --help
NAME:
   ctr containers - manage containers

+ ]# S$ l* \' Y% h; J9 x. lUSAGE:
: e( f5 Z& S7 M# P& M   ctr containers command [command options] [arguments...]
, O8 w: `5 L: y& O+ M' i
6 ?# S. N$ N2 o1 C1 B7 G' P7 gCOMMANDS:
   create                   create container
   delete, del, remove, rm  delete one or more existing containers
   info                     get info about a container
   list, ls                 list containers
0 x& L0 t# J# V2 `   label                    set and clear labels for a container
: G4 P3 w9 g6 b3 I2 z3 {) Q/ w3 Z   checkpoint               checkpoint a container
   restore                  restore a container from checkpoint
+ P  w  D& V) _
OPTIONS:
  T, o. ]( b, \2 q   --help, -h  show help
代码语言：text
% W# q  Y3 K! V' e7 V! }复制
& _" i6 v# X* S说明：
2 n6 ^  g% v( I$ }& B
使用`ctr container create `命令创建容器后，容器并没有处于运行状态，其只是一个静态的容器。这个 container 对象只是包含了运行一个容器所需的资源及配置的数据结构，例如： namespaces、rootfs 和容器的配置都已经初始化成功了，只是用户进程(本案例为nginx)还没有启动。需要使用`ctr tasks`命令才能获取一个动态容器。
2.1.3 获取动态容器命令帮助
代码语言：text
2 A) e4 o8 G, `9 p2 G- K8 s复制
. C' q/ @( }3 Z0 `' k0 H( ?# ctr run --help
3 m5 N5 P0 J, i# `0 E% w4 ]NAME:
   ctr run - run a container

/ }# e3 o* B. y" Q& a. e0 E......
代码语言：text
复制
说明：
: {( `4 f: k# c+ A使用`ctr run`命令可以创建一个静态容器并使其运行。一步到位运行容器。
  @) @! e1 B9 C" s2.2 查看容器
container表示静态容器，可用c缩写代表container
' J+ ]5 V/ Z" y6 Q- X' |# m
代码语言：text
$ T. N, \; g5 M8 R- e( |# ^6 ?* ^: ^复制
# ctr container ls
CONTAINER    IMAGE    RUNTIME
- Z- B) J" Y- G% D0 d1 x' z, [或
$ Z  e) x6 L- m" n8 Q* Z5 F: m5 L
- x7 o, `' E9 Q9 p  \- O代码语言：text
复制
) y+ e8 m. q' J$ q: |/ `9 }1 t7 C( T. R# ctr c ls
  t( f" Z9 R: Y9 z2 ]! ~8 H# uCONTAINER    IMAGE    RUNTIME
以上命令无法查看出来容器的静态的还是动态的
4 C% G# f+ P1 }3 Q: A
9 p+ X+ E  `6 a$ q. M, g) J2.3 查看任务
  j" }' l$ K8 o) |9 c& b: y! ?task表示容器里跑的进程, 可用t缩写代表task
0 N" g7 n- n+ }
! `1 y6 K2 i$ E' k" T代码语言：text
& [& N2 D9 P# k2 ]: K2 `. a+ x! W( \0 ?, Y复制
" Q( `# W; D& A' c2 h  k! k# ctr task ls
TASK    PID    STATUS
或
" R1 Q& Q1 `3 h3 B: Q' W# e4 n8 v+ _
1 E+ J$ O, G+ \5 L代码语言：text
  c& g9 a8 b) S# w复制
3 S, d/ q1 q( Q: ]7 V+ u# N4 Y# ctr t ls
TASK    PID    STATUS
8 f# ]8 N4 z) S+ }& X' ~2.4 创建静态容器
, z7 E( Q1 U& h7 C3 l% q, O0 Q代码语言：text
复制
# ctr c create docker.io/library/nginx:alpine nginx1
代码语言：text
7 O3 z& p7 |- Y7 h. C复制
# ctr container ls
CONTAINER    IMAGE                             RUNTIME
' _, x7 A+ \: |* {/ qnginx1       docker.io/library/nginx:alpine    io.containerd.runc.v2
代码语言：text
8 i0 @3 u% M1 a! H, h2 U5 \复制
查看容器详细信息
# ctr container info nginx1
2.5 静态容器启动为动态容器
& p5 I/ e8 J  s9 O7 g代码语言：text
复制
复制containerd连接runC垫片工具至系统
3 h4 Q8 G# Q, f# ls usr/local/bin/
1 D+ _) v9 x% y& y* p, icontainerd  containerd-shim  containerd-shim-runc-v1  containerd-shim-runc-v2  containerd-stress  crictl  critest  ctd-decoder  ctr
[root@localhost ~]# cp usr/local/bin/containerd-shim-runc-v2 /usr/bin/
代码语言：text
0 C/ t0 K/ k& _复制
" l8 d" H4 x5 y9 I% L) w% X启动task，即表时在容器中运行了进程，即为动态容器。
# ctr task start -d nginx1
* d1 f0 O: ^' P+ Q$ Q( P/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
6 |5 d- i/ U7 x/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
' v$ _. `% B: M# C, H+ k; y代码语言：text
复制
说明：
6 M4 a! ~9 l+ F2 k* Y1 y-d表示daemon或者后台的意思，否则会卡住终端
代码语言：text
- X# o& {! P( E* n" d复制
查看容器所在宿主机进程，是以宿主机进程的方式存在的。
# ctr task ls
8 I& F& T3 q/ Q. x1 \; j* w4 O! `- gTASK      PID     STATUS
# W. ]/ s) P: V! unginx1    3395    RUNNING
7 ^1 S9 i" Q2 `( J1 E' C* M代码语言：text
复制
查看容器的进程(都是物理机的进程)
# ctr task ps nginx1
PID     INFO
6 A4 r! _6 {# R% k5 a3395    -
! `0 H, W0 c4 \- Q0 W1 A: C/ i3434    -
代码语言：text
复制
物理机查看到相应的进程
# ps -ef | grep 3395
, m( x3 l% K( [2 c  V. croot       3395   3375  0 19:16 ?        00:00:00 nginx: master process nginx -g daemon off;
7 j2 h# s' L- d6 G; f3 k& K3 {101        3434   3395  0 19:16 ?        00:00:00 nginx: worker process
3 I: Q  Q" d* {$ J  B3 }/ X% W8 y2.6 进入容器操作
" o5 t  `2 W* V( O! l# M9 V代码语言：text
复制
# ctr task exec --exec-id 1 nginx1 /bin/sh
) g- K" G( D( d  k0 w& {7 C
. ]6 V: y* U2 Y$ K  d* Q( ~: L$ e$ N# ifconfig 查看网卡信息
, @' n3 \6 i5 v1 D1 j8 r+ ^
% `% g4 R& j- v/ N+ u...

# curl 127.0.0.1 访问本地提供的web服务
...
代码语言：text
, ^6 a0 s3 |# j复制
说明：
为exec进程设定一个id，可以随意输入，只要保证唯一即可，也可使用$RANDOM变量。
6 ]' l/ z& x5 I; O7 c/ T# |  |2.7 直接运行一个动态容器
8 G$ ?$ d+ R, y' O' U7 P代码语言：text
复制
# ctr run -d --net-host docker.io/library/nginx:alpine nginx2
/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
& o8 F0 }. e# s7 f" a/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
代码语言：text
( o  G3 }# V1 r0 [& r复制
5 D6 Q  S8 ~! l, u1 \5 H说明：
/ f. o. O3 F( [/ q* -d 代表dameon，后台运行
* --net-host 代表容器的IP就是宿主机的IP(相当于docker里的host类型网络)
1 m& T3 `/ Q( b) ^代码语言：text
0 ^4 L: e# N7 V/ N8 c* ]0 F复制
1 s6 l4 U  @0 `查看已运行容器
# ctr container ls
/ T6 i; N0 t7 {2 k  m4 QCONTAINER    IMAGE                             RUNTIME
# q3 |; e  V5 Onginx2       docker.io/library/nginx:alpine    io.containerd.runc.v2
代码语言：text
; O" S% c; x# S8 x. X. q4 [, U* A复制
查看已运行容器中运行的进程,既tasks
! [2 h% p$ @2 T, P# z# ctr tasks ls
4 C/ S5 h4 s; p9 k5 R" c6 nTASK      PID     STATUS
nginx2    4061    RUNNING
; l/ f0 H/ U+ ?( ]2 Y' _$ z+ W- A代码语言：text
$ Q# i) p6 V& Y+ n  }2 R# p复制
进入容器
# ctr task exec --exec-id 1 -t nginx2 /bin/sh
: {" e" |: r) Z" S3 I6 r代码语言：text
复制
* K, [1 Y9 M/ f/ G, V/ # ifconfig
7 a  G5 B# q! l% |ens33     Link encap:Ethernet  HWaddr 00:0C:29:B1:B6:1D
# `- Y5 L9 T/ ]% ]          inet addr:192.168.10.164  Bcast:192.168.10.255  Mask:255.255.255.0
          inet6 addr: fe80::2b33:40ed:9311:8812/64 Scope:Link
: _' U' V: N# d1 s6 n! }! C# ]% O, I" I          inet6 addr: fe80::adf4:a8bc:a1c:a9f7/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
5 a4 d, a- ?  L* c. {          RX packets:55360 errors:0 dropped:0 overruns:0 frame:0
          TX packets:30526 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:53511295 (51.0 MiB)  TX bytes:2735050 (2.6 MiB)

lo        Link encap:Local Loopback
! l- x1 m5 D* r& R- c          inet addr:127.0.0.1  Mask:255.0.0.0
. ~# m4 i! ]) X) y+ e          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:68 errors:0 dropped:0 overruns:0 frame:0
          TX packets:68 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:5916 (5.7 KiB)  TX bytes:5916 (5.7 KiB)
5 r; h5 C, i- q- D/ P. ]
virbr0    Link encap:Ethernet  HWaddr 52:54:00:E9:51:82
          inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0
) ^; a: ?5 h% g0 S& R          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
8 S2 e( s6 d# q0 B3 h# Q          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
代码语言：text
  F: I$ L+ W- [复制
# h# N3 E5 u; f" q为容器中运行的网站添加网站文件
5 [( {4 J! j0 j9 M/ # echo "nginx2" > /usr/share/nginx/html/index.html
/ # exit
4 K  W: ~0 {& Q4 m+ e! \, T代码语言：text
( T# F" W( i: ?4 Y0 q复制
! ~  C/ `* H+ O, v在宿主机上访问网站
% U# F6 L. @' w: A; r[root@localhost ~]# curl 192.168.10.164
nginx2
2.8 暂停容器
代码语言：text
复制
7 D: p6 A6 U+ _" B( P查看容器状态
* z- v" O  D% t! N2 @# ctr tasks ls
TASK      PID     STATUS
4 E! @( f) L7 |- n, ^% mnginx2    4061    RUNNING
, p' A; F# g, W" `+ r! d! \" j代码语言：text
4 b4 S+ U! a: m0 K, e- ~$ I5 ?' y复制
暂停容器
# ctr tasks pause nginx2
# c) ^( g: @+ L0 L- i5 e" _代码语言：text
- y/ v7 }7 d& M2 P, W0 e+ L: s' B复制
& m2 G: f" ~& w9 t再次查看容器状态，看到其状态为PAUSED，表示停止。
5 C$ F' f& e+ u5 F+ w' i: J# ctr tasks ls
TASK      PID     STATUS
( T: _3 N( Z' l1 m& Wnginx2    4061    PAUSED
8 F& K3 Y1 o& }+ r! A% ]7 r  i代码语言：text
复制
  I$ D0 Q$ s' o7 t. b( Y  S8 O+ K[root@localhost ~]# curl http://192.168.10.164
在宿主机访问，发现不可以访问到网站
  j, U1 t$ A4 A6 y* O- V* y3 g2.9 恢复容器
代码语言：text
复制
) \7 m. H) O+ u% `9 @" ^使用resume命令恢复容器
# ctr tasks resume nginx2
代码语言：text
" P# C4 t; X7 S; q& G. y' ]* w复制
查看恢复后状态
# ctr tasks ls
TASK      PID     STATUS
nginx2    4061    RUNNING
3 G/ Q6 a  ^7 w7 O5 I5 i5 L代码语言：text
复制
: B9 H8 o& {1 W" X) [. ~# t7 _: y在宿主机上访问容器中提供的服务
$ R3 g# Z# M$ @" W# curl http://192.168.10.164
; ?+ Y1 Y# y6 [0 A0 u0 Knginx2
1 b/ C- U0 z6 L/ E$ }! O& C2.10 停止容器
% i/ [& u  ~  ^+ x1 L6 A" k代码语言：text
复制
# ctr tasks --help
# F# T/ O5 y. y, T......
代码语言：text
复制
. [7 @' g- ~" Y# O) S; ?4 G使用kill命令停止容器中运行的进程，既为停止容器
# ctr tasks kill nginx2
* k: u: w9 f8 J8 u代码语言：text
5 Y! W7 r5 q. N复制
查看容器停止后状态，STATUS为STOPPED
# ctr tasks ls
TASK      PID     STATUS
nginx1    3395    RUNNING
* u1 D( Z- v9 |2 @; Z8 s3 tnginx2    4061    STOPPED
2.11 删除容器
代码语言：text
复制
, }& L! M8 W6 M) ~: W" z7 a+ W# ctr tasks delete nginx2
' a$ W' f( f  N" O2 h( x必须先删除task，再删除容器
# w7 ?0 [7 u. n代码语言：text
复制
+ `- v! `* m  v3 @5 V! d  _$ D查看静态容器，确认其还存在于系统中
7 L. ?  ^  T" W- L. V8 ~$ R8 U3 t# ctr container ls
4 C% F3 \2 i8 f2 d2 uCONTAINER    IMAGE                             RUNTIME
! L0 \- U1 B% E" j' O! Anginx2       docker.io/library/nginx:alpine    io.containerd.runc.v2
代码语言：text
  K6 k* o0 d' x0 j- l8 c: K复制
9 Z' b& t' t/ f* S删除容器
# ctr container delete nginx2
3、Containerd使用私有容器镜像仓库 Harbor
3.1 Harbor准备
4 h0 @3 d' S# v6 i

4 y7 `! ]9 n; g8 o* c3.2 配置Containerd使用Harbor仓库
3.2.1 Harbor主机名解析
0 I* t1 q! a* L) n8 A, T8 S: A在所有安装containerd宿主机上添加此配置信息。

- F) B1 W) n% S+ |代码语言：text
复制
# vim /etc/hosts
# cat /etc/hosts
; L! [$ r# \! r3 c" K5 s  Z127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.165 harbor.kubemsb.com
0 ?' I+ x4 {) y代码语言：text
% o& ]: \' L. n1 E# ^  \复制
说明
* 192.168.10.165是harbor的IP
+ x7 ?* y/ K$ [8 M
* harbor.kubemsb.com建议用FQDN形式，如果用类似harbor这种短名，后面下载镜像会出问题
$ O5 M3 R/ u* Q# ^+ b; j3.2.2 修改Containerd配置文件
2 p8 s2 \: Z1 c6 K5 O9 q- l% |代码语言：text
; N- f) C* Q' i7 V( \" w复制
此配置文件已提前替换过，仅修改本地容器镜像仓库地址即可。
! P& h3 e$ }' d- ?" H# vim /etc/containerd/config.toml
# U6 a. z! [3 y) P" M. N: n) j# cat /etc/containerd/config.toml
root = "/var/lib/containerd"
state = "/run/containerd"
1 V4 v) N1 x) D/ m. U- ^oom_score = -999

[grpc]
% u; ?' ^% y6 O, p! A6 w  address = "/run/containerd/containerd.sock"
  uid = 0
3 f5 y7 g' `: H% V7 `9 K  gid = 0
  max_recv_message_size = 16777216
  max_send_message_size = 16777216
4 h6 ]  m7 e- {/ j
[debug]
) h$ s6 ]# U2 U7 o# c# w& e3 O+ P  address = ""
  uid = 0
5 n4 t, ~  H" R. v- @. t  gid = 0
  level = ""

: a) Q3 s! N0 I6 n8 o) C" {& x[metrics]
  address = ""
  grpc_histogram = false

+ B  G5 a; W/ w  I- Y/ ^3 J[cgroup]
  path = ""
5 _' r- f: G) k3 x
( m& d, {5 D+ ]! ]# \" k0 _[plugins]
  [plugins.cgroups]
    no_prometheus = false
  [plugins.cri]
. Z2 u. w6 j3 r1 w8 o    stream_server_address = "127.0.0.1"
    stream_server_port = "0"
    enable_selinux = false
2 R: j9 D1 X' [. V- t7 ]    sandbox_image = "easzlab/pause-amd64:3.2"
    stats_collect_period = 10
    systemd_cgroup = false
+ d8 M; S4 i8 c5 g    enable_tls_streaming = false
, }  ?4 z6 Y8 S5 J    max_container_log_line_size = 16384
9 s" y& A2 X3 U- W/ V( C' p    [plugins.cri.containerd]
9 ~6 |& _( H3 F      snapshotter = "overlayfs"
8 o9 W! n; {9 ], s0 K5 }- X      no_pivot = false
      [plugins.cri.containerd.default_runtime]
        runtime_type = "io.containerd.runtime.v1.linux"
* [. v3 q$ _5 w        runtime_engine = ""
        runtime_root = ""
5 [% J; s. h4 u      [plugins.cri.containerd.untrusted_workload_runtime]
        runtime_type = ""
9 j$ I. q& i7 A2 K* @* `" \7 q8 U        runtime_engine = ""
' e6 i9 _* y1 {2 e( O        runtime_root = ""
    [plugins.cri.cni]
      bin_dir = "/opt/kube/bin"
5 D. Y1 F1 |+ s, ]2 e- i7 y      conf_dir = "/etc/cni/net.d"
0 P3 X& x4 d9 q6 C      conf_template = "/etc/cni/net.d/10-default.conf"
2 z6 E8 G, s0 M: K0 y6 }( T6 ^    [plugins.cri.registry]
      [plugins.cri.registry.mirrors]
, I0 ^4 l4 g) t+ W0 e        [plugins.cri.registry.mirrors."docker.io"]
8 x/ U) W+ v4 x          endpoint = [
+ F: I. G) u, d' U& ~" l8 n            "https://docker.mirrors.ustc.edu.cn",
) W; s; K# a# I/ C            "http://hub-mirror.c.163.com"
$ W" |. _4 S: i0 }: ?5 V8 _          ]
        [plugins.cri.registry.mirrors."gcr.io"]
0 M. H2 n7 c) K4 m: ~* U8 e          endpoint = [
* f% m/ M2 H' C& o; i; Q            "https://gcr.mirrors.ustc.edu.cn"
! _, r% |! w; `, G3 l  Z          ]
        [plugins.cri.registry.mirrors."k8s.gcr.io"]
1 t' y% l6 ~0 s/ T; e          endpoint = [
" |- o1 g& k8 F& R            "https://gcr.mirrors.ustc.edu.cn/google-containers/"
+ M$ X* w/ R; u8 [1 w5 b          ]
' G. N( i1 \5 P! s+ k        [plugins.cri.registry.mirrors."quay.io"]
          endpoint = [
            "https://quay.mirrors.ustc.edu.cn"
          ]
        [plugins.cri.registry.mirrors."harbor.kubemsb.com"]   在此处添加,在镜像加速器下面添加这一段
2 L+ Q  Z' Z; Z7 V: p! V4 g% q          endpoint = [
# o- J2 @( H+ x. n) W& C            "http://harbor.kubemsb.com"
9 k; y1 d/ @8 t: {2 e; |, H* g          ]
( F# s* z- e6 g0 E5 a; M    [plugins.cri.x509_key_pair_streaming]
( J1 L, x$ O9 W: @' n      tls_cert_file = ""
0 d7 b8 Y/ l  v* ]( ]6 Y: F5 ^      tls_key_file = ""
  [plugins.diff-service]
    default = ["walking"]
, l! {" v, n' H% @! d: I. l* `  [plugins.linux]
1 s) L( |" j, u) _6 q    shim = "containerd-shim"
# S6 u* ?2 N) u1 W' V5 G7 p    runtime = "runc"
    runtime_root = ""
8 d; C) c6 i8 @. R    no_shim = false
    shim_debug = false
( d  g7 b1 {7 B  [plugins.opt]
8 f8 w1 n, z8 s9 y% O4 }    path = "/opt/containerd"
  [plugins.restart]
    interval = "10s"
  [plugins.scheduler]
    pause_threshold = 0.02
: {1 J- v- C5 q# @( i/ R. k7 ?" B, c    deletion_threshold = 0
: p" e/ |+ E7 M2 V& J2 V$ R' g    mutation_threshold = 100
    schedule_delay = "0s"
; T# |3 ~% [+ y% S! r; f/ J) n7 v( I    startup_delay = "100ms"
; P* |( `" ^  J' P) W5 s+ F代码语言：text
. ~3 Q4 ?2 w* s3 d  ?- T. x  O; k复制
重启containerd，以便于重新加载配置文件。
% S- m5 E0 t3 }9 [; r# systemctl daemon-reload
# systemctl restart containerd
  }. L" b! b) z; p3.2.3  ctr下载镜像
, e) i# |8 }# U代码语言：text
复制
; }: B1 E. X8 L) C. Q$ ]下载容器镜像
1 G1 u5 T& t( k4 _0 ^% y# ctr images pull --platform linux/amd64 docker.io/library/nginx:latest
% J$ J. U, U  U6 c  _/ m( U代码语言：text
复制
说明:
8 p1 `. K7 P( T) f" V" c2 D* --platform linux/amd64 指定系统平台，也可以使用--all-platforms指定所有平台镜像。
" P& H' s% w8 Q2 x, h7 ]- ]9 s代码语言：text
复制
1 Q0 {3 T7 f1 s& n/ V查看已下载容器镜像
& N1 N6 T& l  z- H+ s  |! F  k4 L# ctr images ls
REF                              TYPE                                                      DIGEST                                                                  SIZE      PLATFORMS                                                                                                                          LABELS

5 o  K* l$ W) rdocker.io/library/nginx:latest   application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
3.2.4 ctr上传镜像
; w! R1 u8 d+ u. q' H. W上传到Harbor library公有项目

* m0 x  _0 u4 [8 m4 \代码语言：text
( ?$ O) r/ V: G$ d复制
5 c! ^) u( m! j" E. c& k8 q重新生成新的tag
# ctr images tag docker.io/library/nginx:latest harbor.kubemsb.com/library/nginx:latest
% G* F7 [) W! ]4 D( u0 Z* u& _harbor.kubemsb.com/library/nginx:latest
代码语言：text
! ~3 V8 A8 M$ }2 o# O2 s复制
8 K9 x& S1 v* V$ `查看已生成容器镜像
# ctr images ls
REF                                     TYPE                                                      DIGEST                                                                  SIZE      PLATFORMS                                                                                                                          LABELS
: X0 _5 Z9 e2 d* W1 Q0 u5 edocker.io/library/nginx:latest          application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
harbor.kubemsb.com/library/nginx:latest application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
+ n2 h4 I! L3 u. I' v4 E; `+ l1 _代码语言：text
: n* f" f" t$ H5 ^. l# G, l3 ]复制
5 j$ t2 H1 |) q3 H推送容器镜像至Harbor
# ctr images push --platform linux/amd64 --plain-http -u admin:密码 harbor.kubemsb.com/library/nginx:latest
- D1 x" L2 t( D7 z代码语言：text
1 J9 c' h' g: g) q- k( y! m复制
说明:

' s, J- w' m: [$ ~; W* r* 先tag再push
+ W0 s3 d) b2 G6 N! V7 d2 G2 m6 ?0 i* 因为我们harbor是http协议，不是https协议，所以需要加上`--plain-http`
* `--user admin:Harbor12345`指定harbor的用户名与密码
+ F- m- h3 P, n  I9 f代码语言：text
复制
( m. `" U( h1 U  z1 u8 r7 @输出：
  F8 }: L3 P' O, F8 s" x9 Kmanifest-sha256:0fd68ec4b64b8dbb2bef1f1a5de9d47b658afd3635dc9c45bf0cbeac46e72101: done           |++++++++++++++++++++++++++++++++++++++|
+ r$ Z6 F; y. E& M% ?. N  F( hconfig-sha256:dd025cdfe837e1c6395365870a491cf16bae668218edb07d85c626928a60e478:   done           |++++++++++++++++++++++++++++++++++++++|
elapsed: 0.5 s                                                                    total:  9.3 Ki (18.1 KiB/s)

9 K; Y; g6 q8 `8 h+ C7 O; Y# q代码语言：text
复制
3 f0 L# ?/ q2 Q' g- f下载已上传容器镜像
# ctr images pull --plain-http harbor.kubemsb.com/library/nginx:latest
( t" J+ Y# s6 W& \8 g% a

admin

Containerd 常用命令
# K: {' [6 x, I$ h- Z3 O3 B4 G
在 Containerd 作为容器运行时的情况下，可以通过 ctr 工具或 crictl 工具来与之进行交互：
1 @. \0 y+ a' U$ ^' ?9 Ectr 是 Containerd 自带的客户端工具

crictl 是 CRI 客户端工具，比较接近 docker 命令
! w2 V# s4 U  H. M/ V) t* B" a
此外还有 nerdctl 等类似工具，以后找机会给大家详细介绍。
/ I& w' X3 f# m9 }


* l" \- Y& R* v: J$ J- t% ^1、ctr 命令
3 z6 m8 t  W, F, `5 `
) B1 t2 a% d, D# 镜像操作命令
ctr -n <ns> i xx                         # 镜像操作命令格式，默认 ns 为 k8s.io
ctr i ls                                 # 查看本地镜像列表，同 docker images
ctr i rm <镜像ID或镜像名>                  # 删除本地镜像，同 docker rmi -f <镜像ID或镜像名>
ctr i pull <镜像名>                       # 拉取远程镜像，同 docker pull <镜像名>
# |; [& N. z, qctr i tag <旧镜像名> <新镜像名>             # 修改镜像名称，同 docker tag <旧镜像名> <新镜像名>
" F) V( r8 Q' U; h+ a, v! ]6 t% Bctr i import xxx.tar                     # 从本地文件导入镜像，同 docker load -i xxx.tar
! W/ s( o" ?1 x& j" Ectr i export xxx.tar <镜像名>             # 导出镜像为本地文件，同 docker save <镜像名> -o xxx.tar

# 容器操作命令
ctr -n <ns> c xx                         # 容器操作命令格式，默认 ns 为 k8s.io
ctr c ls                                 # 查看容器列表，同 docker ps -a，查看所有容器
7 A2 U$ Y- m: Qctr c rm <容器ID或容器名>                  # 删除容器，同 docker rm -f <容器ID或容器名>
ctr c info <容器ID或容器名>                # 查看容器信息，同 docker inspect <容器ID或容器名>
( u7 i2 G- j8 J; a1 ~! {ctr c create <镜像ID或镜像名> <容器名>      # 创建容器，同 docker create，仅创建容器（容器并未运行）
& c( `  _8 C( B7 Q
% j5 v: F& Z+ l  [; P8 W) v5 }2、crictl 命令
# 镜像操作命令
5 P: m, O& v5 m0 b3 zcrictl img                               # 查看本地镜像列表
/ Y2 o) t' d, K- ^. a; k) ~; _4 Mcrictl pull <镜像ID或镜像名>               # 拉取远程镜像
. A; W% [/ \- ~$ Vcrictl rmi <镜像ID或镜像名>                # 删除本地镜像
. \- u& l% x# k4 y) O; k/ [  V
# 容器操作命令
crictl ps -a                             # 查看容器列表
crictl rm <容器ID或容器名>                 # 删除容器
crictl logs <容器ID或容器名>               # 查看容器日志
! C# G! U" o- Mcrictl stats / statsp                    # 查看容器 / Pod 资源使用情况

admin

# AMD架构
- W6 y# u/ [5 [7 c* C- `wget https://github.com/containerd/co ... -linux-amd64.tar.gz
tar -xzvf containerd-1.7.21-linux-amd64.tar.gz -C /usr/

systemctl daemon-reload
' \  c4 N" B7 [: [( ~8 Y6 x0 zsystemctl enable --now containerd

/ X5 ~* Y* C7 i; d===================================================================================
# ARM架构
" o* R" _1 z1 }, Kwget https://github.com/containerd/co ... -linux-arm64.tar.gz
. V: X1 ^# p8 J& ltar -xzvf containerd-1.7.21-linux-amd64.tar.gz -C /usr/
4 \+ y& I5 {; x. b/ r
systemctl daemon-reload
* G4 @& S# H! U8 esystemctl enable --now containerd

admin

# 拉取一个镜像
2 k! g, F2 A4 bcontainerd ctr image pull docker.io/library/nginx:latest

8 y# n7 ~, v/ r9 ?, {+ w2 H# 创建并启动一个容器
. e4 K4 P) @4 Y& U, X) dcontainerd ctr run --rm docker.io/library/nginx:latest mynginx

# 停止并删除一个容器
% s: r; W7 G1 G! p5 ^$ Y: dcontainerd ctr stop mynginx
/ A8 W- T  \$ A" scontainerd ctr container rm mynginx

admin

配置Containerd
在配置文件/etc/containerd/config.toml中添加以下内容：

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
: G' @- K4 T) x; e* p8 ?; y* j4 p ...
! I4 e) v/ {& [* X/ j3 B  a6 J [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
   SystemdCgroup = true

admin

containerd config default | \
( g4 \/ R0 t" P  sed 's@/var/lib/containerd@/data/containerd@g' | \
  sed 's@k8s\.gcr\.io@google_containers@g' | \
  sed '/SystemdCgroup/c \
            SystemdCgroup = true' |
  sed '/registry\.mirrors/a \
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.1.10:8082"]\
          endpoint = ["http://192.168.1.10:8082"]\
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]\
          endpoint = ["http://192.168.1.10:8082"]'> /etc/containerd/config.toml

/ x( K; q' g' M# |* `
% z% I9 a" ~% E- @

helm upgrade -i --create-namespace ingress-nginx ingress-nginx/ingress-nginx --version=4.0.19 \

: X# h1 {8 f2 k/ J7 c    --namespace ingress-nginx \
    --set controller.image.repository=ingress-nginx/controller \
    --set controller.image.digest=null \
    --set controller.dnsPolicy=ClusterFirstWithHostNet \
    --set controller.hostNetwork=true \
    --set controller.kind=DaemonSet \
    --set controller.service.enabled=false \
, P" v8 K- d$ f# h. n    --set controller.reportNodeInternalIp=true \
    --set controller.admissionWebhooks.enabled=false \
1 [* F1 H) j7 e+ {# _    --set controller.ingressClassResource.default=true \
    --set 'controller.tolerations[0].operator=Exists' \
    --set 'controller.tolerations[0].effect=NoExecute' \
7 Y" x4 y. B/ |7 ^' k# X4 }    --set 'controller.tolerations[1].operator=Exists' \
( N4 s4 h) }$ v7 a& c$ `    --set 'controller.tolerations[1].effect=NoSchedule' \
    --set controller.config.compute-full-forwarded-for=true \
    --set controller.config.hsts=false \
    --set controller.config.use-forwarded-headers=true

6 g5 `  n9 f8 }0 e) B  C: C