containerd 作为容器kubernets后端容器 相关操作

admin

配置Containerd
在配置文件/etc/containerd/config.toml中添加以下内容：

6 X1 s# O4 N) p' I- g[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
  b% T) f$ q" X: E, a ...
8 C# f7 `, M/ R( A; i8 {% f [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
   SystemdCgroup = true
/ h: n* K- @, F/ ^6 [& V, g( X
; n! Q' f1 V' H; K" h: |重新加载Containerd配置并启动服务
使用以下命令重新加载配置文件并启动Containerd服务：

* {8 ?) ?' u7 C6 d
" X, w! Z% t( h5 {% F! E1 H3 ?% Psudo systemctl daemon-reload
/ K$ s/ ~+ d$ l: fsudo systemctl restart containerd.service
7 @. p9 G, D  M& p$ I1 b; `验证Containerd安装是否成功
# ^; K- S: k( l- ^4 Z$ j运行以下命令验证Containerd是否已成功安装：

' z: n7 e( c8 e  Q

sudo ctr version
输出应为：


codeClient:
/ H- J' q; y* O# u; x4 Q. A" h2 t% j Version:  1.5.5
Revision: 09a19cb71a40ac5ab8686245e5a5fb5e5d25c144
...
6 d; p7 y( L: ?4 V% O9 \
Server:
Version:  1.5.5
/ I) r( d1 t2 ~' x, B6 O# h4 W Revision: 09a19cb71a40ac5ab8686245e5a5fb5e5d25c144
...
1 D- m3 j- c! g( q% Z% A以上就是在Linux系统中安装和部署Containerd的步骤,在安装和部署完成后，可以使用CLI命令或者API接口来管理容器和镜像，例如：
' l1 `; j( W8 |  H9 {; _& N
3 Z6 P. y" k8 \
8 b- P, z% P" b! t# _/ z
9 a% x6 O! I' m; l+ }# 拉取一个镜像
containerd ctr image pull docker.io/library/nginx:latest
: H' l2 D1 m9 O/ t9 y
# D6 r! R/ R; ~6 [4 D# 创建并启动一个容器
containerd ctr run --rm docker.io/library/nginx:latest mynginx
- l% R2 [1 N0 _- r2 m+ @
: P) I# x# F% W# 停止并删除一个容器
containerd ctr stop mynginx
containerd ctr container rm mynginx
& ^$ R! f6 w% r# E0 D+ p5 I) F8 v  hContainerd还提供了CRI插件，可以用于Kubernetes集群中的容器运行时



. |! O, [# \3 ^6 O; D

admin

#查看镜像：
. r" \. j/ i& M" ]- Uctr images ls
: J: _0 l( Q9 h5 c  P7 \; \--------
  ~( `; k0 X- [$ t5 A! \
& z5 }6 T2 t0 N# e1 X# s9 ^
##下载镜像
# M. [0 X" c+ g( Wcontainerd 支持oci标准镜像 所以可以直接使用docker官方或dockerfile构建的镜像

ctr images pull  --platfrom linux/amd64  docker.io/library/nginx:alpine
0 d& u& J; U# L
ctr images ls

: ~. Q, c+ f; k8 e镜像挂载
把已经下载的容器镜像挂载至当前文件系统
ctr images mount  docker.io/library/nginx:alpine /mnt
9 c+ v% g' Y' ?% S

admin

1、Containerd镜像管理
* Y/ N7 n( `8 {% Y- `1.1 Containerd容器镜像管理命令
docker使用docker images命令管理镜像
单机containerd使用ctr images命令管理镜像,containerd本身的CLI
k8s中containerd使用crictl images命令管理镜像,Kubernetes社区的专用CLI工具
% g, N+ K* j6 {7 t. e9 p, R代码语言：text
复制
获取命令帮助
* X3 i4 J, n6 g/ U! Y7 h# ctr --help
NAME:
   ctr -
        __
2 C6 s, l4 b- X4 N  _____/ /______
+ v& {& K; `3 K! v / ___/ __/ ___/
3 h! k& @7 g. y& r" ^/ /__/ /_/ /
1 t8 u9 s$ _+ G2 B) ?/ ?1 i\___/\__/_/
3 s4 X+ C/ X. Z! O% I5 h8 L  q
) ]/ I# `8 V! b8 ~8 v2 c% u......
! @# y4 N  I# D6 x9 y# h" ~代码语言：text
复制
获取命令帮助
0 v, a7 S% L) E7 M: D$ F- e3 n# ctr images
NAME:
   ctr images - manage images
* ?, ?' S) @2 ?. y, s; G! r
* C3 b9 [* J7 ?( j7 A4 y* H/ kUSAGE:
" v9 \& U! x8 n1 `   ctr images command [command options] [arguments...]
3 o& [0 z3 q+ y; e- I8 x# R& K- ^. _- X
# X4 ^; N" W5 a: N2 YCOMMANDS:
$ Z8 p) H( @% g   check                    check existing images to ensure all content is available locally
2 p5 J( u: g+ a   export                   export images
   import                   import images
   list, ls                 list images known to containerd
- @+ Q6 C: B$ R0 P( g   mount                    mount an image to a target path
   unmount                  unmount the image from the target
   pull                     pull an image from a remote
9 {/ M. d$ m$ q; C! b( ]1 f   push                     push an image to a remote
   delete, del, remove, rm  remove one or more images by reference
   tag                      tag an image
6 ]3 I: @+ o' |# S5 [) ?   label                    set and clear labels for an image
   convert                  convert an image
' T6 V0 [: O$ j! l
8 r# k) }6 `6 N. u9 I$ E" tOPTIONS:
8 x! r) ]6 m, v- @   --help, -h  show help
1.2 查看镜像
7 R4 v' ]( G- a5 N代码语言：text
复制
# ctr images ls
REF TYPE DIGEST SIZE PLATFORMS LABELS
1.3 下载镜像
& q. p* w) x4 I6 \$ G# E! p8 f: C3 acontainerd支持oci标准的镜像，所以可以直接使用docker官方或dockerfile构建的镜像
$ Y6 T" Y. T4 c# p) k
$ K6 n4 O0 I2 d9 d代码语言：text
复制
# 镜像名不能简写，--all-platforms：所有平台，不加的话下载当前平台架构
# ctr images pull --all-platforms docker.io/library/nginx:alpine
# ctr images pull docker.io/library/nginx:latest

* V5 r) i$ S6 J3 ^$ W( ~2 H0 q# uname -a
9 Q! O8 m" d. O/ d代码语言：text
9 c5 x/ e, x" \+ ]! P& y* O- O, I复制
说明：
这里ctr命令pull镜像时，不能直接把镜像名字写成`nginx:alpine`
代码语言：text
, M7 T" V# t7 l' H复制
, C4 h" V; ]% T' `. V% m; U% l查看已下载容器镜像
) w! b( N* U: }6 _% Y. \9 |# ctr images ls
2 y$ B% w% [& }, {7 W& q) ~( oREF                           

' Y0 M3 r% q# i4 U' KTYPE                                                     
. C4 Z# A7 |0 b% z5 b
$ o9 h+ f% u1 H3 PDIGEST                                                      
6 M% D- D, c) }1 m1 B! g+ R# p
docker.io/library/nginx:alpine
$ Y! d  n4 d$ l+ r0 }% D2 f8 b
application/vnd.docker.distribution.manifest.list.v2+json
" P+ F+ C( e5 v; a7 x
3 j8 z3 p( K* V; Q- v  E  gsha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3
7 `8 p& o7 c' T, n$ F5 Z- H
SIZE   

8 i1 K, k4 B$ ?2 hPLATFORMS                                                   

LABELS

9.7 MiB

linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x

% E4 R0 ]" ?# `, V代码语言：text
复制
! v. G* j& W9 ?. [指定平台下载容器镜像
! @: s: ]/ ]; j% D* w- Q5 H# ctr images pull --platform linux/amd64 docker.io/library/nginx:alpine
没有镜像是无法运行容器的。
6 M; _3 J1 V# o
1.4 镜像挂载
6 M) y: m' g2 M方便查看镜像中包含的内容。
' f: C5 L$ ^* w3 f# k! }# e4 H
5 O3 g- z8 c1 _1 C1 a代码语言：text
0 ]- q! l0 x: A复制
把已下载的容器镜像挂载至当前文件系统
# ctr images mount docker.io/library/nginx:alpine /mnt
sha256:af2fcce448e2e4451a5f4796a9bf9cb5c9b5f88e0d6d10029cada42fb9d268ac
1 C: {, n! C. K2 B4 F/mnt
: A* ]7 |9 D* n, T[root@localhost ~]# ls /mnt
bin  dev  docker-entrypoint.d  docker-entrypoint.sh  etc  home  lib  media  mnt  opt  proc  root  run  sbin  srv  sys  tmp  usr  var
; ?% [/ L1 y4 ~2 \  [. X代码语言：text
, `% l4 g* z6 @复制
) S0 h' `9 m6 L; q% q/ G: t卸载
# umount /mnt
1.5 镜像导出
2 C9 R) X* F/ l4 y( ~+ A- t8 F代码语言：text
复制
把容器镜像导出
: p/ S" }7 t) [4 `8 R; G6 j# ctr i export --all-platforms nginx.img docker.io/library/nginx:alpine
代码语言：text
复制
8 N9 P0 n: _! l, f说明
--all-platforms,导出所有平台镜像，本版本为1.6版本，1.4版本不需要添加此选项。
; \4 S) h/ `6 z* @% O代码语言：text
复制
查看已导出容器镜像
7 Q: J. S( U1 c- W0 T) k" ]' A# ls
nginx.img

# ls -lh
总用量 196M

6 w5 ?, r3 z6 w' h-rw-r--r--  1 root root  73M 2月  18 14:48 nginx.img
1.6 镜像删除
" T  L! n" ^7 l$ S+ ?% c3 W* U代码语言：text
复制
3 O# m2 S' v  C- n删除指定容器镜像
' \2 W2 Y. i4 y/ P0 M# ctr image rm docker.io/library/nginx:alpine
docker.io/library/nginx:alpine

& D; V8 E+ u' {3 Y7 M再次查看容器镜像
; D7 N1 F0 M! f* [# v* y( ^[root@192 ~]# ctr images ls
7 b& E8 h3 {2 L1 e& zREF TYPE DIGEST SIZE PLATFORMS LABELS
1.7 镜像导入
代码语言：text
复制
2 }5 |1 [& a( e2 v导入容器镜像
) y- d9 V% j# g8 [5 w( j7 u# ctr images import nginx.img
; X1 Y- A, Z6 j) m2 N% L. funpacking docker.io/library/nginx:alpine (sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3)...done
& p& P* _) L. z+ {( p+ ]9 V/ C2 p, Z1.8 修改镜像tag
9 @0 L" U7 t5 q* d  x3 \代码语言：text
' Z4 p( f9 M3 f: V3 e2 r1 T复制
# ctr images tag docker.io/library/nginx:alpine nginx:alpine
nginx:alpine

# 建议修改tag的名称为：镜像仓库地址/目录/镜像名
. Z3 D% v0 t% ]( l& t9 l! ~5 z代码语言：text
复制
说明：
把docker.io/library/nginx:alpine 修改为 nginx:alpine
4 F& ^4 F3 `' d# ?2 J5 m代码语言：text
. c' |7 {. y; ~8 D6 f复制
6 ]& N; j0 ~/ q9 K/ |0 W查看修改后的容器镜像
1 Z6 O8 A' F: }0 D2 T/ W  o2 r# ctr images ls
6 O" F: G0 x2 n) iREF                            TYPE                                                      DIGEST                                                                  SIZE    PLATFORMS                                                                                LABELS
& o" N5 u- Y" j' F  E3 {" udocker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 9.7 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -
nginx:alpine                   application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 9.7 MiB linux/386,linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/ppc64le,linux/s390x -
代码语言：text
# Z; ~! R: R7 \/ {' Q, b+ n复制
- N9 r6 v' t4 v! |  N修改后对容器镜像做检查比对
' {. G! x: F' t& ?6 A# ctr images check
9 i3 g: M$ v/ j, K) R8 LREF                            TYPE                                                      DIGEST                                                                  STATUS         SIZE            UNPACKED
6 R9 ~- B2 V7 t& K' Idocker.io/library/nginx:alpine application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 complete (7/7) 9.7 MiB/9.7 MiB true
1 t7 }' D8 Y6 ]  d1 |# }) S
* u  ?; D- N2 M) V' a" Pnginx:alpine                   application/vnd.docker.distribution.manifest.list.v2+json sha256:da9c94bec1da829ebd52431a84502ec471c8e548ffb2cedbf36260fd9bd1d4d3 complete (7/7) 9.7 MiB/9.7 MiB true
1 w- R# n$ k  P, c2、Containerd容器管理
2.1 获取命令帮助
2.1.1 获取ctr命令帮助
4 a4 W' J: ?0 G' h% ~代码语言：text
复制
[root@localhost ~]# ctr --help
* {1 L( l/ L! QNAME:
   ctr -
        __
2 W2 n( o: J% f  _____/ /______
7 H/ E6 x5 u- j9 N2 H! c7 S; W / ___/ __/ ___/
& C& r# ?" u5 a) o3 G6 F" ~/ /__/ /_/ /
\___/\__/_/
: T) A0 a9 l' [2 a5 s
. z0 P( P. Y* bcontainerd CLI


......
1 b" Y6 i  X( D. l' c, g* `. K# P2.1.2 获取创建静态容器命令帮助
代码语言：text
) O6 v9 J7 H1 U( v/ n复制
# ctr container --help
NAME:
( F2 q6 B2 s; u: Z; X% N   ctr containers - manage containers

USAGE:
! X( N" n1 F6 I! g& g  K   ctr containers command [command options] [arguments...]
4 o6 {, m( H, a3 q& K5 u) u
. k9 E* O( s. OCOMMANDS:
7 h8 k" u0 X) R; l1 h6 ]! \   create                   create container
% y2 |9 ]$ _: a% y   delete, del, remove, rm  delete one or more existing containers
' }0 W* U% ~: s, C% c) R   info                     get info about a container
   list, ls                 list containers
" U7 Y9 X8 a' k6 o5 a# T   label                    set and clear labels for a container
   checkpoint               checkpoint a container
   restore                  restore a container from checkpoint
' _# K$ A9 d. ~. q# }
1 N! ~! c$ [9 C! gOPTIONS:
0 y" @6 b4 {; n7 ^   --help, -h  show help
; N  k1 O1 d/ Q) h; T. Y代码语言：text
' N+ i$ Z) G, s  O! N; `+ u复制
. g, P8 z' c1 K" n说明：

5 x, k" R0 }- ?8 S1 G8 D! c0 O使用`ctr container create `命令创建容器后，容器并没有处于运行状态，其只是一个静态的容器。这个 container 对象只是包含了运行一个容器所需的资源及配置的数据结构，例如： namespaces、rootfs 和容器的配置都已经初始化成功了，只是用户进程(本案例为nginx)还没有启动。需要使用`ctr tasks`命令才能获取一个动态容器。
, F1 ~/ m5 I/ d2.1.3 获取动态容器命令帮助
代码语言：text
( Q0 O0 ]9 p0 E2 l5 `复制
# ctr run --help
, A& q0 \. ]' x5 @/ ]5 T" c6 ?% CNAME:
6 A3 V8 o$ x8 }, ?   ctr run - run a container
& J- d3 I2 u6 D
......
代码语言：text
复制
8 \% P: ]2 E% z- a说明：
使用`ctr run`命令可以创建一个静态容器并使其运行。一步到位运行容器。
2.2 查看容器
container表示静态容器，可用c缩写代表container

( g& o/ C- f: p3 s; C; @+ b代码语言：text
复制
# ctr container ls
CONTAINER    IMAGE    RUNTIME
或

- o6 j2 r8 o+ u( Y代码语言：text
8 f3 q" r5 ~  e  }复制
# ctr c ls
; n* F/ }7 L+ A+ U) D1 _CONTAINER    IMAGE    RUNTIME
以上命令无法查看出来容器的静态的还是动态的

- c4 \- v5 r* {( X2.3 查看任务
task表示容器里跑的进程, 可用t缩写代表task

代码语言：text
6 A  }' X% A% w复制
# ctr task ls
7 b: W; d0 H: o. [3 }- k# x) VTASK    PID    STATUS
或

( e' l$ m0 a) n0 ?' M" @, g% L代码语言：text
复制
# ctr t ls
6 x; s1 ~$ `) @6 d  V0 XTASK    PID    STATUS
( ~- B( s4 z5 t8 U0 w2.4 创建静态容器
/ D, M. Z' B2 P( s代码语言：text
* c8 H# B  U# ]2 m' K6 @复制
9 |( J! o( I6 y# ctr c create docker.io/library/nginx:alpine nginx1
代码语言：text
* h4 n1 J" d$ q/ \# Y: \, _2 ?复制
- D; I$ J" B2 N& k- R# ctr container ls
CONTAINER    IMAGE                             RUNTIME
" V8 K/ {/ y3 V6 `9 l, b* w$ ?nginx1       docker.io/library/nginx:alpine    io.containerd.runc.v2
3 E; ^) W. Q  K+ g! t) }0 @$ m代码语言：text
复制
4 @2 [. J) ]6 c: F9 b6 p) p查看容器详细信息
# ctr container info nginx1
2.5 静态容器启动为动态容器
代码语言：text
复制
复制containerd连接runC垫片工具至系统
0 U. {3 P! X" c  m: o) w# ls usr/local/bin/
containerd  containerd-shim  containerd-shim-runc-v1  containerd-shim-runc-v2  containerd-stress  crictl  critest  ctd-decoder  ctr
[root@localhost ~]# cp usr/local/bin/containerd-shim-runc-v2 /usr/bin/
代码语言：text
3 n* _3 U. p1 n+ @& {复制
启动task，即表时在容器中运行了进程，即为动态容器。
# ctr task start -d nginx1
/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
, {9 h) H5 V4 P/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
代码语言：text
  E4 l( Q  V0 F# w" S8 P( I复制
6 Q4 ?5 x! J; P% z说明：
! Q$ z+ Q6 `7 Q+ G" i1 U4 H! d2 e8 Z-d表示daemon或者后台的意思，否则会卡住终端
代码语言：text
. b& I' s! u( p6 m复制
查看容器所在宿主机进程，是以宿主机进程的方式存在的。
5 b* {: X5 f* t6 S, J# ctr task ls
1 ^! }: A, B. h1 HTASK      PID     STATUS
" ^4 Z5 w# p8 y# Znginx1    3395    RUNNING
代码语言：text
复制
; D% ~8 `9 t  s查看容器的进程(都是物理机的进程)
+ k( V- T' w) X1 `5 d; \0 V# ctr task ps nginx1
6 F9 H0 j9 E0 w0 x/ BPID     INFO
3395    -
3434    -
7 ?/ u8 R1 K; @0 y代码语言：text
复制
4 l, A5 X% Y4 ~物理机查看到相应的进程
# ps -ef | grep 3395
) k. e( E; E. h8 B/ i% I) Z3 Oroot       3395   3375  0 19:16 ?        00:00:00 nginx: master process nginx -g daemon off;
101        3434   3395  0 19:16 ?        00:00:00 nginx: worker process
& U) o' A$ q8 ]; b5 \/ V2.6 进入容器操作
' @9 B. r0 {& N3 c% N代码语言：text
复制
# ctr task exec --exec-id 1 nginx1 /bin/sh
" W+ M* M& M4 u
; a+ S* s# D8 B% a# S. V# ifconfig 查看网卡信息
' @# [) ^9 w" N) G  @6 z
...

( i. V, i/ F* N2 ]! p# curl 127.0.0.1 访问本地提供的web服务
3 t' N9 u4 p; m7 u...
5 J$ ?$ G% c& Q9 z" t代码语言：text
* J: B) |+ D% j' v9 \4 o. p. l复制
说明：
为exec进程设定一个id，可以随意输入，只要保证唯一即可，也可使用$RANDOM变量。
/ _1 D. B; V) H3 Y2.7 直接运行一个动态容器
! m, ]3 W. l5 `6 Z0 h代码语言：text
9 i1 t7 h( ~% h复制
  p& g3 C. k" Y. K, f# ctr run -d --net-host docker.io/library/nginx:alpine nginx2
& Z) d1 }0 m  |" y( o: x/docker-entrypoint.sh: /docker-entrypoint.d/ is not empty, will attempt to perform configuration
/docker-entrypoint.sh: Looking for shell scripts in /docker-entrypoint.d/
代码语言：text
复制
说明：
* -d 代表dameon，后台运行
* --net-host 代表容器的IP就是宿主机的IP(相当于docker里的host类型网络)
; Z$ D( ?8 l5 n! ~5 E$ k代码语言：text
复制
: O6 Z% C4 t0 P9 I4 p查看已运行容器
% J# H% @. v7 i9 y# ctr container ls
; \1 _  l# @; g6 U, q4 ]0 T) GCONTAINER    IMAGE                             RUNTIME
nginx2       docker.io/library/nginx:alpine    io.containerd.runc.v2
代码语言：text
复制
. G- s$ H1 A" Y  k& e) F; F查看已运行容器中运行的进程,既tasks
# ctr tasks ls
5 U2 E+ r+ h8 t, k* ~% CTASK      PID     STATUS
+ s/ ~! J1 C/ I, b% Q  G- dnginx2    4061    RUNNING
" x  r6 f5 j4 _- G* ?+ P+ b8 I代码语言：text
复制
进入容器
# ctr task exec --exec-id 1 -t nginx2 /bin/sh
代码语言：text
) |( N" g* ]" l9 K8 c' q复制
; k: `2 h, i. T0 E" _% R& l/ # ifconfig
ens33     Link encap:Ethernet  HWaddr 00:0C:29:B1:B6:1D
5 g. ^$ O3 }+ W, c  R          inet addr:192.168.10.164  Bcast:192.168.10.255  Mask:255.255.255.0
          inet6 addr: fe80::2b33:40ed:9311:8812/64 Scope:Link
          inet6 addr: fe80::adf4:a8bc:a1c:a9f7/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:55360 errors:0 dropped:0 overruns:0 frame:0
/ w8 c4 X0 ]( Y6 W5 l, ^% S! M          TX packets:30526 errors:0 dropped:0 overruns:0 carrier:0
! n$ N& {9 D' c6 {" o          collisions:0 txqueuelen:1000
$ i( n9 K8 t7 C1 D1 t5 E. m7 _          RX bytes:53511295 (51.0 MiB)  TX bytes:2735050 (2.6 MiB)
8 V( h* J2 k  A. H& w. F/ Q5 D
lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
- T8 `1 ^7 j0 r; u4 Q2 d7 K          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:68 errors:0 dropped:0 overruns:0 frame:0
          TX packets:68 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
8 L0 `7 B/ R7 ^, h! T; J          RX bytes:5916 (5.7 KiB)  TX bytes:5916 (5.7 KiB)
8 Y" c7 C5 ?" ^( ]# E1 B) r0 }0 |
. t! K; m- n/ r. Mvirbr0    Link encap:Ethernet  HWaddr 52:54:00:E9:51:82
$ ]7 t$ G0 F0 Y- D  x          inet addr:192.168.122.1  Bcast:192.168.122.255  Mask:255.255.255.0
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
8 ?( T, b: O& w/ u& d' q4 d/ u          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)
5 O- Q: ~  Y% H9 F代码语言：text
复制
为容器中运行的网站添加网站文件
/ # echo "nginx2" > /usr/share/nginx/html/index.html
/ x3 o: r; A2 k- U# p6 J/ # exit
; C. T/ X/ {# M" \; B5 m4 `代码语言：text
复制
在宿主机上访问网站
0 q- j0 X, H+ q[root@localhost ~]# curl 192.168.10.164
; W- t+ l0 c% J' n, Onginx2
2.8 暂停容器
9 T  b) Z! j3 j; e. c7 p3 J/ B代码语言：text
  O7 j- V5 l% N复制
( g8 j% p+ P' m& B. w查看容器状态
- v2 K& x/ D3 I0 `9 W, K0 c# ctr tasks ls
TASK      PID     STATUS
nginx2    4061    RUNNING
+ V. H2 w7 u9 B4 R代码语言：text
# D6 \7 N3 Z2 q& b复制
暂停容器
0 ~5 ?9 J7 B8 U  d, ?# ctr tasks pause nginx2
代码语言：text
复制
再次查看容器状态，看到其状态为PAUSED，表示停止。
3 _1 l. L3 R0 W" o5 E7 |! i, X# ctr tasks ls
7 h9 M8 \' t0 j, WTASK      PID     STATUS
nginx2    4061    PAUSED
代码语言：text
- Q- S9 `& }+ A! p/ E: e复制
[root@localhost ~]# curl http://192.168.10.164
在宿主机访问，发现不可以访问到网站
+ c8 F* q. C' z2 q2 g5 J# D2.9 恢复容器
代码语言：text
5 `+ g+ Z0 {4 k3 W4 R" Y复制
使用resume命令恢复容器
# ctr tasks resume nginx2
( [7 e5 ?# B6 {代码语言：text
复制
7 g$ D+ T4 T* Z查看恢复后状态
5 t$ t2 _) ?3 h, M# ctr tasks ls
% t" t# f1 z8 Y8 C* h' F. e/ W2 PTASK      PID     STATUS
nginx2    4061    RUNNING
5 z! s! Z/ w% g代码语言：text
4 v" T2 ^% f. }! [4 G9 @复制
在宿主机上访问容器中提供的服务
6 S' f" `: ]% G% X( {( x# curl http://192.168.10.164
nginx2
- Z+ R2 n6 F8 p2.10 停止容器
代码语言：text
复制
* t; Q/ }- [; p" t; p- Y- @/ W& a# ctr tasks --help
......
" s2 |7 j! o+ |+ ?代码语言：text
复制
+ T( M0 i+ Z  H0 y, I) M9 z! R使用kill命令停止容器中运行的进程，既为停止容器
& S8 g* \0 l- w8 U5 n' ^. M# ctr tasks kill nginx2
代码语言：text
复制
查看容器停止后状态，STATUS为STOPPED
# ctr tasks ls
TASK      PID     STATUS
  I; r, |, A8 q" Inginx1    3395    RUNNING
nginx2    4061    STOPPED
6 ^+ R9 E4 j! i2.11 删除容器
9 C" U9 E! M3 n, a8 c代码语言：text
# p' u! P3 {; g1 z  N+ w复制
7 b$ ~+ f4 T0 w# ctr tasks delete nginx2
必须先删除task，再删除容器
代码语言：text
复制
查看静态容器，确认其还存在于系统中
# ctr container ls
CONTAINER    IMAGE                             RUNTIME
nginx2       docker.io/library/nginx:alpine    io.containerd.runc.v2
" s+ p" k- @$ t0 o7 D% N& g* a代码语言：text
复制
删除容器
# ctr container delete nginx2
+ u& j& W; R$ q3、Containerd使用私有容器镜像仓库 Harbor
3.1 Harbor准备
5 k/ q1 b! f. d0 E1 h, Y: j& y

3.2 配置Containerd使用Harbor仓库
" ~5 p' l7 U3 T' z( n. ]- j0 ^3.2.1 Harbor主机名解析
1 H; k7 l# \: J: F: s: N在所有安装containerd宿主机上添加此配置信息。
) O$ }) J* ~  T2 D  e. s& f6 {" Y
* Y9 W3 y. o; R/ |6 h9 f/ V代码语言：text
复制
# vim /etc/hosts
, B; X: ]- q0 H# @; w# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
+ M+ G( q4 p+ @- ?192.168.10.165 harbor.kubemsb.com
代码语言：text
复制
说明
# r2 s0 C+ F- \1 r0 A1 D, I% [/ h* 192.168.10.165是harbor的IP
( ^0 N1 k) g' Z& l! W, f$ b3 l4 y) Q# Q; _7 n
* harbor.kubemsb.com建议用FQDN形式，如果用类似harbor这种短名，后面下载镜像会出问题
3.2.2 修改Containerd配置文件
6 y% Y- h0 j$ ^1 _: z, i5 s! d代码语言：text
复制
此配置文件已提前替换过，仅修改本地容器镜像仓库地址即可。
# vim /etc/containerd/config.toml
5 w, P3 |: v, m1 ?. `: p# cat /etc/containerd/config.toml
* _" P9 W% \. V/ F8 lroot = "/var/lib/containerd"
state = "/run/containerd"
" a2 k) _% w$ toom_score = -999

2 ?+ Y6 x$ e) g[grpc]
  address = "/run/containerd/containerd.sock"
  uid = 0
  _; T1 v' m! t( ^* q  gid = 0
  max_recv_message_size = 16777216
9 W7 V1 T" @* |: m0 w  k5 n  max_send_message_size = 16777216

3 t% ]7 V/ `# H[debug]
, N8 u1 j0 Z9 F! |$ j* Q$ I, R  address = ""
# I2 A6 z1 I: f$ x  uid = 0
6 q) e5 K% \' s1 p  gid = 0
  level = ""
% _. z9 U' f3 d( F* ]* R8 m6 B
$ o% q! }/ y) p+ ?/ e' m[metrics]
) a4 V! `; i7 E( S6 p$ t  address = ""
  grpc_histogram = false
/ i( h# B7 [/ G+ n9 L
, Y+ \7 @$ M: T1 e8 k* Q( P& v[cgroup]
# T3 s2 K7 \: ^, [: C  path = ""

[plugins]
4 X, Y( U9 o3 g6 V/ k! `/ c% A% b  [plugins.cgroups]
    no_prometheus = false
4 @/ [/ b, u* ~  [plugins.cri]
    stream_server_address = "127.0.0.1"
9 D4 \, u. U9 V" K) S    stream_server_port = "0"
! W* m( d! x4 N; f9 i    enable_selinux = false
    sandbox_image = "easzlab/pause-amd64:3.2"
    stats_collect_period = 10
$ d( T  M+ L9 d8 g    systemd_cgroup = false
    enable_tls_streaming = false
7 Z8 n5 W3 `, a! H+ J3 E    max_container_log_line_size = 16384
% r& E5 W2 ?8 l% y! `, k# l    [plugins.cri.containerd]
      snapshotter = "overlayfs"
      no_pivot = false
& q* i4 k! W* A* j0 C0 d4 F      [plugins.cri.containerd.default_runtime]
7 j8 h/ O5 W' G# e& P" s* |        runtime_type = "io.containerd.runtime.v1.linux"
( h" M  c! |) [+ j$ r. I        runtime_engine = ""
        runtime_root = ""
# F  g0 B8 E. g" N/ o$ l      [plugins.cri.containerd.untrusted_workload_runtime]
        runtime_type = ""
        runtime_engine = ""
        runtime_root = ""
, `' s! Z9 s2 Z3 t. |7 T1 F    [plugins.cri.cni]
      bin_dir = "/opt/kube/bin"
      conf_dir = "/etc/cni/net.d"
8 n. R$ n9 B6 u6 W      conf_template = "/etc/cni/net.d/10-default.conf"
/ \0 r; X2 [' D2 T    [plugins.cri.registry]
, v% y5 M6 ~" S& f      [plugins.cri.registry.mirrors]
6 H6 R* j" Z: \        [plugins.cri.registry.mirrors."docker.io"]
* t, s; w0 a6 W: K* `' c0 d$ O          endpoint = [
( G, F6 V, x( y6 s1 D            "https://docker.mirrors.ustc.edu.cn",
. L( p& R$ q2 D; F9 i/ Z* C            "http://hub-mirror.c.163.com"
6 \5 w5 {5 m6 u7 J( v          ]
4 g  U% a7 }* B% l        [plugins.cri.registry.mirrors."gcr.io"]
          endpoint = [
0 ^( U+ g# o; t# b* |            "https://gcr.mirrors.ustc.edu.cn"
          ]
        [plugins.cri.registry.mirrors."k8s.gcr.io"]
! w$ ^4 n, a2 t  \- T' L+ s6 S          endpoint = [
; U0 u' E' ]# F  g& n            "https://gcr.mirrors.ustc.edu.cn/google-containers/"
          ]
6 t+ P1 n" @) T4 @2 m+ q& [        [plugins.cri.registry.mirrors."quay.io"]
          endpoint = [
4 |/ l" M+ u& `1 K6 l            "https://quay.mirrors.ustc.edu.cn"
4 q& T  U- j; P' y7 V1 U& R& [* u          ]
        [plugins.cri.registry.mirrors."harbor.kubemsb.com"]   在此处添加,在镜像加速器下面添加这一段
          endpoint = [
            "http://harbor.kubemsb.com"
          ]
    [plugins.cri.x509_key_pair_streaming]
: r% K1 S! z" o      tls_cert_file = ""
      tls_key_file = ""
  [plugins.diff-service]
    default = ["walking"]
  [plugins.linux]
    shim = "containerd-shim"
    runtime = "runc"
* E  N( h/ ]1 s0 ^. a    runtime_root = ""
    no_shim = false
    shim_debug = false
% i1 O: Z& L  Y3 n7 X  [plugins.opt]
; @1 x! j2 X/ M: @" y3 \, [: t    path = "/opt/containerd"
  F" p. l/ m5 D1 V) B  [plugins.restart]
1 j1 M1 A! A' Z$ K; n    interval = "10s"
  [plugins.scheduler]
    pause_threshold = 0.02
    deletion_threshold = 0
" E* r2 h6 U. }( T    mutation_threshold = 100
    schedule_delay = "0s"
/ G/ s5 K  `1 G1 |* b" H) M6 U9 m    startup_delay = "100ms"
代码语言：text
复制
重启containerd，以便于重新加载配置文件。
# systemctl daemon-reload
; ]+ B- ?+ B9 }# systemctl restart containerd
3.2.3  ctr下载镜像
6 G  e3 J7 e& S4 A$ g4 @代码语言：text
复制
下载容器镜像
, J/ {! g9 w0 _! x' [6 p7 C) O7 q# ctr images pull --platform linux/amd64 docker.io/library/nginx:latest
6 m& s, O  C: c9 w& [  f代码语言：text
  B- N2 O% [1 i9 }' L6 y! n复制
/ T# i" G" L$ z# ]说明:
* --platform linux/amd64 指定系统平台，也可以使用--all-platforms指定所有平台镜像。
代码语言：text
5 [! D: N6 n, l5 s- n复制
, o& G2 s" V: ]3 `; N' b查看已下载容器镜像
# ctr images ls
REF                              TYPE                                                      DIGEST                                                                  SIZE      PLATFORMS                                                                                                                          LABELS

docker.io/library/nginx:latest   application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
3.2.4 ctr上传镜像
, ^+ q$ r) U( y上传到Harbor library公有项目

3 N, i3 ]/ V- t- Y代码语言：text
6 T. {: I* z; j+ j' m% z9 P复制
重新生成新的tag
1 B* j1 B- b$ L# ctr images tag docker.io/library/nginx:latest harbor.kubemsb.com/library/nginx:latest
& x3 d) |6 a5 z0 X  \: j. O6 C6 {: zharbor.kubemsb.com/library/nginx:latest
5 ^+ A) y: a0 t: y9 Y代码语言：text
; h9 M+ U, J+ W: S复制
  X% r7 D3 u! i查看已生成容器镜像
# ctr images ls
- M- _4 J7 K+ q( Q) w8 m! wREF                                     TYPE                                                      DIGEST                                                                  SIZE      PLATFORMS                                                                                                                          LABELS
docker.io/library/nginx:latest          application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
harbor.kubemsb.com/library/nginx:latest application/vnd.docker.distribution.manifest.list.v2+json sha256:2834dc507516af02784808c5f48b7cbe38b8ed5d0f4837f16e78d00deb7e7767 54.1 MiB  linux/386,linux/amd64,linux/arm/v5,linux/arm/v7,linux/arm64/v8,linux/mips64le,linux/ppc64le,linux/s390x                            -
代码语言：text
复制
推送容器镜像至Harbor
1 e( T1 s$ c; U9 V: M* R7 a( W# ctr images push --platform linux/amd64 --plain-http -u admin:密码 harbor.kubemsb.com/library/nginx:latest
+ d4 P. K. h# X- ^# X+ @代码语言：text
复制
说明:

9 O, [2 s2 A0 t3 @! o6 m. P* 先tag再push
* 因为我们harbor是http协议，不是https协议，所以需要加上`--plain-http`
) d6 @/ a% B5 i( {5 m1 I0 r* `--user admin:Harbor12345`指定harbor的用户名与密码
$ @. \, g" x2 @& n/ }7 _$ }' H代码语言：text
' ?2 y7 _. p; V- F: ?复制
+ ]; E3 \6 u% X4 c) N输出：
) c6 u5 G5 g) A5 R) {! tmanifest-sha256:0fd68ec4b64b8dbb2bef1f1a5de9d47b658afd3635dc9c45bf0cbeac46e72101: done           |++++++++++++++++++++++++++++++++++++++|
5 `* k: P& W4 N, k# I/ m; X; bconfig-sha256:dd025cdfe837e1c6395365870a491cf16bae668218edb07d85c626928a60e478:   done           |++++++++++++++++++++++++++++++++++++++|
$ r9 I7 O& x8 Melapsed: 0.5 s                                                                    total:  9.3 Ki (18.1 KiB/s)
5 l" X1 r& t' D2 k9 c' ^2 L3 ?/ g; g
+ N. r  k( d3 n1 t/ o# T+ }2 _- \6 f代码语言：text
" B$ x" q+ Q! M7 m4 i7 M复制
7 l8 @3 g9 S3 d5 k4 R3 X5 Y9 ?下载已上传容器镜像
4 w% Y2 |" x/ Z* B: n" l# ctr images pull --plain-http harbor.kubemsb.com/library/nginx:latest

admin

Containerd 常用命令

/ ~# s( o/ s# Y# E6 y  Z* f4 s1 b6 z# H在 Containerd 作为容器运行时的情况下，可以通过 ctr 工具或 crictl 工具来与之进行交互：
" z8 I4 o: h$ Y; jctr 是 Containerd 自带的客户端工具

crictl 是 CRI 客户端工具，比较接近 docker 命令

2 }6 Y+ {2 V) K, l9 b& f此外还有 nerdctl 等类似工具，以后找机会给大家详细介绍。

% h3 v  {# J1 H+ B

0 i, d! x: Z6 T* ?$ M1、ctr 命令
& T) Z/ ^) s( O( ~# j7 B
# 镜像操作命令
( K+ Q3 O* D5 pctr -n <ns> i xx                         # 镜像操作命令格式，默认 ns 为 k8s.io
- r7 l, B" ?( C! u( Xctr i ls                                 # 查看本地镜像列表，同 docker images
ctr i rm <镜像ID或镜像名>                  # 删除本地镜像，同 docker rmi -f <镜像ID或镜像名>
ctr i pull <镜像名>                       # 拉取远程镜像，同 docker pull <镜像名>
5 n' b3 v2 Y$ }ctr i tag <旧镜像名> <新镜像名>             # 修改镜像名称，同 docker tag <旧镜像名> <新镜像名>
ctr i import xxx.tar                     # 从本地文件导入镜像，同 docker load -i xxx.tar
ctr i export xxx.tar <镜像名>             # 导出镜像为本地文件，同 docker save <镜像名> -o xxx.tar

# 容器操作命令
2 f+ _3 D$ {5 d# D4 Ectr -n <ns> c xx                         # 容器操作命令格式，默认 ns 为 k8s.io
" h0 m4 H2 d4 [( _) Jctr c ls                                 # 查看容器列表，同 docker ps -a，查看所有容器
, i9 i# p' e- ~5 E& Cctr c rm <容器ID或容器名>                  # 删除容器，同 docker rm -f <容器ID或容器名>
, u, b6 f( d1 k+ v) Y1 mctr c info <容器ID或容器名>                # 查看容器信息，同 docker inspect <容器ID或容器名>
* G, q' ]9 b# V2 [3 a& @) jctr c create <镜像ID或镜像名> <容器名>      # 创建容器，同 docker create，仅创建容器（容器并未运行）

" t/ _( |. \2 F; ~: i* H+ J% g2 R2、crictl 命令
9 b* ?* ?, q0 [# 镜像操作命令
6 G  d( a  E1 v0 ~( i. n. E+ y. ocrictl img                               # 查看本地镜像列表
6 H' O7 `0 i; B1 l+ d' ncrictl pull <镜像ID或镜像名>               # 拉取远程镜像
8 a. t4 c; f1 i+ g8 Qcrictl rmi <镜像ID或镜像名>                # 删除本地镜像
+ ?) k9 M8 |) g' B, I0 p# T( p
/ ?& Q5 V5 {. A7 b; y: |# 容器操作命令
4 a  K, v+ g% i3 wcrictl ps -a                             # 查看容器列表
) h- s  j  F3 \" u( a* V( Wcrictl rm <容器ID或容器名>                 # 删除容器
crictl logs <容器ID或容器名>               # 查看容器日志
crictl stats / statsp                    # 查看容器 / Pod 资源使用情况

admin

# AMD架构
wget https://github.com/containerd/co ... -linux-amd64.tar.gz
tar -xzvf containerd-1.7.21-linux-amd64.tar.gz -C /usr/

+ j, ]+ D# _7 P+ [) B) H( G% t  Isystemctl daemon-reload
systemctl enable --now containerd
& o' M3 d' c) }* U' [: @) G
3 u( k0 ?* f4 P7 T8 Y# A===================================================================================
& \8 g/ `9 z; R& o5 {6 a. z# ARM架构
wget https://github.com/containerd/co ... -linux-arm64.tar.gz
+ P' J" `2 U. Y) B' Z  L4 Btar -xzvf containerd-1.7.21-linux-amd64.tar.gz -C /usr/

systemctl daemon-reload
systemctl enable --now containerd

admin

# 拉取一个镜像
5 B3 O1 x1 `  N2 Wcontainerd ctr image pull docker.io/library/nginx:latest

# 创建并启动一个容器
: f4 R, P0 g; Q! O2 W( r$ ocontainerd ctr run --rm docker.io/library/nginx:latest mynginx
8 y; i7 c* }' C$ Q# J: y3 y
& y- X3 d$ V, W) h# 停止并删除一个容器
) o5 y4 p9 ]5 zcontainerd ctr stop mynginx
containerd ctr container rm mynginx

admin

配置Containerd
1 m; _% h) j+ ?; I在配置文件/etc/containerd/config.toml中添加以下内容：

3 `: |1 h5 |4 n3 e% d[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc]
...
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
+ S6 f* u+ b4 z9 ]   SystemdCgroup = true

admin

containerd config default | \
1 i" k: x* B/ ]  sed 's@/var/lib/containerd@/data/containerd@g' | \
  sed 's@k8s\.gcr\.io@google_containers@g' | \
7 r, q6 p) F" Y8 W; t  sed '/SystemdCgroup/c \
2 F8 ?! I9 E% ~            SystemdCgroup = true' |
3 V) b8 ?, m% B) _. y  sed '/registry\.mirrors/a \
$ m4 J$ `; f1 o+ S6 r, C        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."192.168.1.10:8082"]\
" a, ^6 T& k( H$ i2 n          endpoint = ["http://192.168.1.10:8082"]\
; Z) {6 O: {+ P9 K' K0 |' y5 N        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"]\
# [% ^. Y, r: {' D$ {! v          endpoint = ["http://192.168.1.10:8082"]'> /etc/containerd/config.toml
. y/ q0 @0 H! L6 u, }
! N$ B1 p; k% s% L7 z
  Y; k, O+ t2 a2 y

helm upgrade -i --create-namespace ingress-nginx ingress-nginx/ingress-nginx --version=4.0.19 \
( A( m0 X- y2 N; D$ K
9 `7 h( L8 K" Z* e. A& ?    --namespace ingress-nginx \
$ g2 ~- \* |- G) o8 s; a    --set controller.image.repository=ingress-nginx/controller \
    --set controller.image.digest=null \
0 b! n0 G# {5 E    --set controller.dnsPolicy=ClusterFirstWithHostNet \
    --set controller.hostNetwork=true \
    --set controller.kind=DaemonSet \
    --set controller.service.enabled=false \
    --set controller.reportNodeInternalIp=true \
    --set controller.admissionWebhooks.enabled=false \
* V/ M) o) M. O$ v1 b8 Y    --set controller.ingressClassResource.default=true \
    --set 'controller.tolerations[0].operator=Exists' \
" v6 Q  ~9 P3 C+ Z! o: q    --set 'controller.tolerations[0].effect=NoExecute' \
    --set 'controller.tolerations[1].operator=Exists' \
    --set 'controller.tolerations[1].effect=NoSchedule' \
    --set controller.config.compute-full-forwarded-for=true \
, \! u$ v- j) @2 W5 u    --set controller.config.hsts=false \
    --set controller.config.use-forwarded-headers=true
, A2 _% g, m0 s) G. L) ~