Kubernetes Token 过期解决方案使用kubeadm

admin · 发表于 2024-9-16 17:00:07

一、背景
Token 是 Node 节点用来连接 Master 节点的令牌字串，它和 CA 证书的 Hash 值是把一台 Node 节点加入到 kubernetes集群时使用的凭证。如下图所示：

在 K8s 1.8 之后，默认生成的 Token 有效期只有 24 小时，过期后 Token 将不可用，如果想新的 Node 节点加入 K8s 集群，则需重新生成新的 Token。生产环境中我们一般都会采用默认的有效期即可（目的是为了 kubenetes 集群的安全），当然你也可以生成永久有效的 Token（但不建议）。

二、创建 Token
1、生成默认 24 小时 Token

kubeadm token create

2、生成永久有效 Token

kubeadm token create --ttl 0

三、管理 Token
1、查看 Token

kubeadm token list

# 可看到有效期为23h

2、删除 Token

kubeadm token delete <Token值>
kubeadm token delete lu8i0r.pzvgyu40c8g73yc1

四、获取 CA 证书 Hash 值
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

五、Node 节点加入kubernetes 集群
kubeadm join 172.27.0.13:6443 --token lu8i0r.pzvgyu40c8g73yc1 --discovery-token-ca-cert-hash sha256:3ed701329742f7549f73cb065a8677abe8b5b8a3e25bbca7bb26f317ffcf89d4

也可以直接生成 Node 加入 kubernetes 集群的完整命令：

kubeadm token create --print-join-command

# 这样就很方便了，就不需要单独获取ca证书的hash值了

admin · 发表于 2024-9-16 17:00:08

我们在使用kubeadm部署kubernetes集群时，为了安全问题的考虑，默认生成的token的有效期是24小时，过期将失效，不过也可以在初始化master节点的时候通过指定--ttl的值为0来强制生成一个永不过期的token（不推荐）。

为什么会分享这篇文章呢？是因为我在部署k8s集群的时候，步骤进行到刚把第一台master节点初始化完成，需要进行worker节点的加入时，由于要处理一个紧急的生产业务问题，然后就随手关闭了终端，导致初始化完成后回显的提示信息“丢失”。所以将处理此问题的过程形成了此文档加以记录。

下面我就分为以下两种情况进行简单介绍：

1. 类似于我上面的操作：关闭了终端窗口，或者这条命令在后续给忘记了，worker节点还没有开始执行.

2. token过期.

# 查看token

root@master:~# kubeadm token list

# 生成一个永不过期的token

root@master:~# kubeadm token create --ttl 0

r089pu.3pjmew8vrv9mimty

root@master:~# kubeadm token list

TOKEN                   TTL       EXPIRES             USAGES                DESCRIPTION                                              EXTRA GROUPS

abcdef.0123456789abcdef 23h       2023-09-07T15:59:13Z authentication,signing <none>                                                    system:bootstrappers:kubeadm:default-node-token

r089pu.3pjmew8vrv9mimty <forever> <never> authentication,signing <none>                                                    system:bootstrappers:kubeadm:default-node-toke

由于在创建token的时候指定了ttl的值为0，可以看到新生成的token的有效期就变成了永久。

我们在对master节点进行初始化后，正常的情况下，都可以看到如下一些内容，即让worker nodes节点加入的方法：

kubeadm join 172.19.53.150:6443 --token abcdef.0123456789abcdef \

  --discovery-token-ca-cert-hash sha256:2c062e93ff47d023801c8ab8a16d46c323e2977e54f7ed0de1a76b778dfe9589

我们来分解上面这条命令的组成：

172.19.53.150:6443：指定apiserver的地址及端口，也就是master节点或者是control-plane-endpoint的域名或者地址及端口。

--token：指定token值

--discovery-token-ca-cert-hash：这个和kubernetes的CA证书有关系。后面会讲如何获取。

## 忘记token的处理办法（token未过期）

1. 查看token值：

root@master:~# kubeadm token list

TOKEN                   TTL       EXPIRES             USAGES                DESCRIPTION                                              EXTRA GROUPS

abcdef.0123456789abcdef 23h       2023-09-07T15:59:13Z authentication,signing <none>                                                    system:bootstrappers:kubeadm:default-node-token

这里获取到的token值为：abcdef.0123456789abcdef

2. 获取ca证书sha256编码hash值（只适用于适用kubeadm方式部署的集群）

root@master:~# openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

2c062e93ff47d023801c8ab8a16d46c323e2977e54f7ed0de1a76b778dfe9589

这里查看到的ca证书的sha256编码的哈希值为：2c062e93ff47d023801c8ab8a16d46c323e2977e54f7ed0de1a76b778dfe9589，如何通过二进制部署，需要按实际情况修改ca证书的存放路径。

3. 命令拼装加入节点

我们上面已经提到了将一个worker节点加入集群的命令组成，我们将以上两个步骤中获取到的token和ca证书的hash值按照格式拼接起来就可以正常执行加入worker节点的操作了。

kubeadm join 172.19.53.150:6443 --token abcdef.0123456789abcdef \

  --discovery-token-ca-cert-hash sha256:2c062e93ff47d023801c8ab8a16d46c323e2977e54f7ed0de1a76b778dfe9589

## token过期处理办法

1. 重新生成新的token

# 生成一个有效期为24小时的token

root@master:~# kubeadm token create

# 生成一个永久的token

root@master:~# kubeadm token create --ttl 0

# 查看新生成的token

root@master:~# kubeadm token list

TOKEN                   TTL       EXPIRES             USAGES                DESCRIPTION                                              EXTRA GROUPS

abcdef.0123456789abcdef 23h       2023-09-07T15:59:13Z authentication,signing <none>                                                    system:bootstrappers:kubeadm:default-node-token

r089pu.3pjmew8vrv9mimty <forever> <never> authentication,signing <none>                                                    system:bootstrappers:kubeadm:default-node-token

以上集群是我在一小时前刚部署的，可以看到token的默认有效期为24小时，将在23小时后的2023-09-07T15:59:13Z过期。同时生成了一个永久的token。

admin · 发表于 2024-9-16 17:00:09

1. token过期处理
k8s的令牌默认24小时过期，逾期需要重新加入

1.1 master节点创建新令牌
## 在master节点
# kubeadm token create --print-join-command

[root@master1 admin]# kubeadm token create --print-join-command
W0705 23:14:39.436166 7030 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
kubeadm join master.k8s.io:6443 --token ime4yx.8fb5jsv0smqkk0aq    --discovery-token-ca-cert-hash sha256:ffb3b09434cb153048558614e774221d0ef8107e4f824a415e2f41e84f6ac0b1

1.2 worker节点或者master集群节点执行命令
## 集群的其他master节点，有 --control-plane
kubeadm join master.k8s.io:6443 --token ime4yx.8fb5jsv0smqkk0aq  \
--discovery-token-ca-cert-hash sha256:ffb3b09434cb153048558614e774221d0ef8107e4f824a415e2f41e84f6ac0b1
--control-plane

## 集群的worker节点，没有 --control-plane
kubeadm join master.k8s.io:6443 --token ime4yx.8fb5jsv0smqkk0aq  \
--discovery-token-ca-cert-hash sha256:ffb3b09434cb153048558614e774221d0ef8107e4f824a415e2f41e84f6ac0b1

2. 部署dashboard
2.1 Kubernetes 官方提供的可视化界面
URL: https://github.com/kubernetes/dashboard
1
2.2 下载k8s dashboard
# 命令：kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml

# 或者先下载：wget --no-check-certificate https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml
# 再应用 kubectl apply -f recommended.yaml

[root@master1 admin]# kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml
namespace/kubernetes-dashboard created
serviceaccount/kubernetes-dashboard created
service/kubernetes-dashboard created
secret/kubernetes-dashboard-certs created
secret/kubernetes-dashboard-csrf created
secret/kubernetes-dashboard-key-holder created
configmap/kubernetes-dashboard-settings created
role.rbac.authorization.k8s.io/kubernetes-dashboard created
clusterrole.rbac.authorization.k8s.io/kubernetes-dashboard created
rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created
clusterrolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created
deployment.apps/kubernetes-dashboard created
service/dashboard-metrics-scraper created
deployment.apps/dashboard-metrics-scraper created

检查：

[root@master1 admin]# kubectl get pods -A
NAMESPACE             NAME                                        READY STATUS RESTARTS AGE
kubernetes-dashboard dashboard-metrics-scraper-78f5d9f487-s854v 1/1    Running 0       4m8s
kubernetes-dashboard kubernetes-dashboard-6bc5cb8879-8zjj2       1/1    Running 0       4m8s
1
2
3
4
2.3 设置访问端口
[root@master1 admin]# kubectl get svc -o wide -A
NAMESPACE             NAME                      TYPE       CLUSTER-IP    EXTERNAL-IP PORT(S)                AGE    SELECTOR
default             javademo1                NodePort 10.1.230.223 <none>       8111:31880/TCP          2d23h app=javademo1
default             kubernetes                ClusterIP 10.1.0.1    <none>       443/TCP                3d    <none>
kube-system          kube-dns                   ClusterIP 10.1.0.10    <none>       53/UDP,53/TCP,9153/TCP 3d    k8s-app=kube-dns
kubernetes-dashboard dashboard-metrics-scraper ClusterIP 10.1.110.33 <none>       8000/TCP                8m24s k8s-app=dashboard-metrics-scraper
kubernetes-dashboard kubernetes-dashboard       ClusterIP 10.1.179.158 <none>       443/TCP                8m24s k8s-app=kubernetes-dashboard
[root@master1 admin]# kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard
service/kubernetes-dashboard edited

其中的 type: ClusterIP 改为 type: NodePort

可以看到，dashboard的端口变成了30798

# 命令： kubectl get svc -A | grep kubernetes-dashboard
# 或者： kubectl get svc -o wide -A
[root@master1 admin]# kubectl get svc -o wide -A
NAMESPACE             NAME                      TYPE       CLUSTER-IP    EXTERNAL-IP PORT(S)                AGE    SELECTOR
default             javademo1                NodePort 10.1.230.223 <none>       8111:31880/TCP          2d23h app=javademo1
default             kubernetes                ClusterIP 10.1.0.1    <none>       443/TCP                3d    <none>
kube-system          kube-dns                   ClusterIP 10.1.0.10    <none>       53/UDP,53/TCP,9153/TCP 3d    k8s-app=kube-dns
kubernetes-dashboard dashboard-metrics-scraper ClusterIP 10.1.110.33 <none>       8000/TCP                12m    k8s-app=dashboard-metrics-scraper
kubernetes-dashboard kubernetes-dashboard       NodePort 10.1.179.158 <none>       443:30798/TCP          12m    k8s-app=kubernetes-dashboard

2.4 登录
2.4.1 创建登录用户(masternode)
URL: https://192.168.8.190:30798/
创建一个登录账号的文件：dash-user.yaml
内容：把一个集群账号admin-user创建出来

# dash-user.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kubernetes-dashboard

## 应用
[root@master1 ~]# kubectl apply -f dash-user.yaml
serviceaccount/admin-user created
clusterrolebinding.rbac.authorization.k8s.io/admin-user created

2.4.2 获取新建用户的访问令牌
命令：

kubectl -n kubernetes-dashboard \
get secret $(kubectl -n kubernetes-dashboard get sa/admin-user \
-o jsonpath="{.secrets[0].name}") \
-o go-template="{{.data.token | base64decode}}"

执行后会出现一串令牌，复制后粘贴在dashboard的token输入框中即可

3. 工作负载deployment
控制Pod，使Pod拥有多副本，自愈，扩缩容等能力

# 清除所有Pod，比较下面两个命令有何不同效果？
kubectl run mynginx --image=nginx

kubectl create deployment mytomcat --image=tomcat:8.5.68
# 自愈能力
# 删除之后，k8s会重新启动一个tomcat。除非删除deployment

3.1 多副本
3.1.1 命令行方式：
kubectl create deployment my-dep --image=nginx --replicas=3

3.1.2
yaml文件方式

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
app: my-dep
  name: my-dep
spec:
  replicas: 3
  selector:
matchLabels:
   app: my-dep
  template:
metadata:
   labels:
      app: my-dep
spec:
   containers:
   - image: nginx
      name: nginx

3.2 扩缩容
3.2.1 使用scale方式
kubectl scale --replicas=5 deployment/my-dep

3.2.2 修改deployment方式
kubectl edit deployment my-dep

#修改 replicas 的值

3.3 自愈&故障转移
● 停机
● 删除Pod
● 容器崩溃
● ....

3.4 滚动更新
3.4.1 直接使用命令
在以deployment创建一个nginx的情况下

## 设置新版本，该命令会是k8s去下载版本为1.16.1的nginx镜像。
## 同理，也可以使k8s去指定仓库拉取指定版本的某镜像（比如某服务的新版本）
kubectl set image deployment/my-dep nginx=nginx:1.16.1 --record
kubectl rollout status deployment/my-dep

3.4.2 修改deployment的内容
## 修改image的版本
kubectl edit deployment/my-dep

3.5 版本回退
#历史记录
kubectl rollout history deployment/my-dep

#查看某个历史详情
kubectl rollout history deployment/my-dep --revision=2

#回滚(回到上次)
kubectl rollout undo deployment/my-dep

#回滚(回到指定版本)
kubectl rollout undo deployment/my-dep --to-revision=2

更多：

除了Deployment，k8s还有 StatefulSet 、DaemonSet 、Job  等类型资源。
我们都称为工作负载。
有状态应用使用  StatefulSet  部署，无状态应用使用 Deployment 部署
url: https://kubernetes.io/zh/docs/concepts/workloads/controllers/

3.6 工作负载小总结

dashboard中的工作负载

		自动登录	找回密码
密码			注册

Kubernetes Token 过期解决方案 使用kubeadm

浏览过的版块

Kubernetes Token 过期解决方案使用kubeadm