前言
本文将介绍如何使用二进制文件手动搭建 Kubernetes v1.20 集群。通过这种方法，我们可以更好地理解 Kubernetes 的内部工作原理，并具备更大的灵活性和控制权。下面将逐步构建 Kubernetes 集群，并进一步了解其各个组件之间的交互和配置。
K8s的CNI网络插件理论请参考：Kubernetes的CNI网络插件介绍-CSDN博客
目录
一、常见的 K8S 部署方式
1. Minikube
2. Kubeadmin
3. 二进制安装部署
二、环境配置
1. 集群节点配置
2. 操作系统初始化配置
3. 部署 docker 引擎
三、部署 etcd 集群
1. 准备签发证书环境
1.1 准备 cfssl 证书生成工具
1.2 创建存放 etcd 证书目录
1.3 上传 etcd-cert.sh 和 etcd.sh
1.4 创建证书私钥目录
1.5 启动 etcd 服务
1.6 创建配置文件证书目录
1.7 拷贝 etcd 文件至其他节点
2. 修改 node02 etcd 配置文件
2.1 修改 etcd 配置文件
2.2 启动 etcd 服务
3. 修改 node03 etcd 配置文件
3.1 修改 etcd 配置文件
3.2 启动 etcd 服务
4. 检查 etcd 群集状态
5. 查看 etcd 集群成员列表
6. 快照与还原
四、部署 Master 组件
1. 上传 master.zip 和 k8s-cert.sh
2. 创建 kubernetes 工作目录
3. 创建 CA证书私钥目录
4. 拷贝证书私钥
5. 上传 kubernetes-server-linux-amd64.tar.gz
6. 拷贝 master 组件
7. 创建 bootstrap token 认证文件
8. 开启 apiserver 服务
9. 启动 scheduler 服务
10. 启动 controller-manager 服务
11. 生成 kubectl 连接集群的 kubeconfig 文件
12. 通过 kubectl 工具查看当前集群组件状态
13. 查看版本信息
五、部署 Worker Node 组件
1. 创建 kubernetes 工作目录
2. 上传 node.zip
2. 准备 kubelet、kube-proxy 文件
2.1 把 kubelet、kube-proxy 拷贝到 node 节点
2.2 上传kubeconfig.sh文件
2.3 拷贝配置文件到 node 节点
2.4 RBAC 授权
3. 启动 kubelet 服务
4. 授权 CSR 请求并签发证书
4.1 检查到 node01 节点的 kubelet 发起的 CSR 请求
4.2 手动批准节点的证书签发请求
4.3 再次查看 Kubernetes 中所有证书签发请求 (CSR) 的列表
4.4 查看节点
5. 添加负载均衡的内核模块
5.1 添加 ip_vs 模块
5.2 启动 proxy 服务
五、部署 CNI 网络组件
1. 部署 flannel
1.1 上传 cni、flannel 安装包
1.2 node02 节点部署 kubelet、proxy 服务
1.2.1 文件传输
1.2.2 启动 kubelet 服务
1.2.3 签发证书并通过CSR请求
1.2.4 加载 ipvs 模块
1.2.5 使用proxy.sh脚本启动proxy服务
1.2.6 查看群集中的节点状态
1.3 部署 CNI 网络
1.4 查看集群节点信息
2. 部署 Calico
2.1 部署 CNI 网络
2.2 查看集群组件状态
六、部署 CoreDNS
1. 上传 coredns 镜像
2. Master01 节点部署 CoreDNS
3. DNS 解析测试
七、小结
一、常见的 K8S 部署方式
1. Minikube
Minikube是一个工具，可以在本地快速运行一个单节点微型K8S，仅用于学习、预览K8S的一些特性使用。
部署地址：Install Tools | Kubernetes
2. Kubeadmin
Kubeadmin也是一个工具，提供kubeadm init和kubeadm join，用于快速部署K8S集群，相对简单。
Kubeadm | Kubernetes部署地址：Kubeadm | Kubernetes
3. 二进制安装部署
生产首选，从官方下载发行版的二进制包，手动部署每个组件和自签TLS证书，组成K8S集群，新手推荐。
发布 ·Kubernetes/Kubernetes (github.com)部署地址：发布 ·Kubernetes/Kubernetes (github.com)
二、环境配置
1. 集群节点配置
机器内存有限，按需自行分配：
| 节点名称 | IP | 部署组件 | 配置 |
| k8s集群master01 | 192.168.190.100 | kube-apiserver kube-controller-manager kube-scheduler | 2C/3G |
| k8s集群master02 | 192.168.190.101 | kube-apiserver kube-controller-manager kube-scheduler | 2C/3G |
| k8s集群node01 | 192.168.190.102 | kubelet kube-proxy docker | 2C/2G |
| k8s集群node02 | 192.168.190.103 | kubelet kube-proxy docker | 2C/2G |
| etcd集群etcd01 | 192.168.190.100 | etcd | |
| etcd集群etcd02 | 192.168.190.102 | etcd | |
| etcd集群etcd03 | 192.168.190.103 | etcd | |
| 负载均衡nkmaster | 192.168.190.104 | nginx+keepalive01 | 1C/1G |
| 负载均衡nkbackup | 192.168.190.105 | nginx+keepalive02 | 1C/1G |
2. 操作系统初始化配置
① 关闭防火墙及其他规则
所有节点操作： systemctl stop firewalld systemctl disable firewalld iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X # 清空iptables防火墙的规则，包括过滤规则、NAT规则、Mangle规则以及自定义链 setenforce 0 sed -i 's/enforcing/disabled/' /etc/selinux/config
② 关闭 swap
所有节点操作： swapoff -a sed -ri 's/.*swap.*/#&/' /etc/fstab # 在/etc/fstab文件中找到包含swap的行，并在这些行之前加上#，从而注释掉这些行
③ 根据规划设置主机名
192.168.190.100: hostnamectl set-hostname master01 192.168.190.101: hostnamectl set-hostname master02 192.168.190.102: hostnamectl set-hostname node01 192.168.190.103: hostnamectl set-hostname node02
④ 在 master01 添加 hosts
cat >> /etc/hosts << EOF 192.168.190.100 master01 192.168.190.101 master02 192.168.190.102 node01 192.168.190.103 node02 EOF
⑤ 调整内核参数
所有节点操作： cat > /etc/sysctl.d/k8s.conf << EOF #开启网桥模式，可将网桥的流量传递给iptables链 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 #关闭ipv6协议 net.ipv6.conf.all.disable_ipv6=1 net.ipv4.ip_forward=1 EOF sysctl --system # 重新加载内核参数设置
⑥ 时间同步
所有机器均需要同步： yum install ntpdate -y ntpdate time.windows.com
3. 部署 docker 引擎
所有 node 节点部署 docker 引擎：
yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install -y docker-ce docker-ce-cli containerd.io systemctl start docker.service systemctl enable docker.service docker --version Docker version 26.1.2, build 211e74b
三、部署 etcd 集群
etcd 目前默认使用2379端口提供HTTP API服务， 2380端口和peer通信(这两个端口已经被IANA(互联网数字分配机构)官方预留给etcd)。 即etcd默认使用2379端口对外为客户端提供通讯，使用端口2380来进行服务器间内部通讯。
1. 准备签发证书环境
在 master01 节点上操作
1.1 准备 cfssl 证书生成工具
CFSSL 是 CloudFlare 公司开源的一款 PKI/TLS 工具。CFSSL 包含一个命令行工具和一个用于签名、验证和捆绑 TLS 证书的 HTTP API 服务，使用Go语言编写。
准备cfssl证书生成工具： [root@master01 ~]# wget https://github.com/cloudflare/cfssl/releases/download/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl [root@master01 ~]# wget https://github.com/cloudflare/cfssl/releases/download/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson [root@master01 ~]# wget https://github.com/cloudflare/cfssl/releases/download/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo [root@master01 ~]# chmod +x /usr/local/bin/cfssl* # cfssl：证书签发的工具命令 # cfssljson：将 cfssl 生成的证书（json格式）变为文件承载式证书 # cfssl-certinfo：验证证书的信息 # cfssl-certinfo -cert <证书名称> 查看证书的信息 [root@master01 ~]# cd /usr/local/bin/ [root@master01 bin]# ls cfssl cfssl-certinfo cfssljson
1.2 创建存放 etcd 证书目录
[root@master01 ~]# mkdir /opt/k8s [root@master01 ~]# cd /opt/k8s/
1.3 上传 etcd-cert.sh 和 etcd.sh
到 /opt/k8s/ 目录中
[root@master01 k8s]# rz -E rz waiting to receive. [root@master01 k8s]# ls etcd-cert.sh etcd.sh [root@master01 k8s]# chmod +x *.sh
① etcd.sh：
#!/bin/bash #example: ./etcd.sh etcd01 192.168.190.100 etcd02=https://192.168.190.102:2380,etcd03=https://192.168.190.103:2380 #创建etcd配置文件/opt/etcd/cfg/etcd ETCD_NAME=$1 ETCD_IP=$2 ETCD_CLUSTER=$3 WORK_DIR=/opt/etcd cat > $WORK_DIR/cfg/etcd </usr/lib/systemd/system/etcd.service < ② etcd-cert.sh：
#!/bin/bash #配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书 cat > ca-config.json <ca-csr.json < ：使用 CSRJSON 文件生成生成新的证书和私钥。如果不添加管道符号，会直接把所有证书内容输出到屏幕。 #注意：CSRJSON 文件用的是相对路径，所以 cfssl 的时候需要 csr 文件的路径下执行，也可以指定为绝对路径。 #cfssljson 将 cfssl 生成的证书（json格式）变为文件承载式证书，-bare 用于命名生成的证书文件。 #----------------------- #生成 etcd 服务器证书和私钥 cat > server-csr.json < 1.4 创建证书私钥目录
创建用于生成CA证书、etcd 服务器证书以及私钥的目录
[root@master01 k8s]# mkdir /opt/k8s/etcd-cert [root@master01 k8s]# mv etcd-cert.sh etcd-cert/ [root@master01 k8s]# cd etcd-cert/ [root@master01 etcd-cert]# ./etcd-cert.sh # 生成CA证书、etcd 服务器证书以及私钥 [root@master01 etcd-cert]# ls ca-config.json ca-csr.json ca.pem server.csr server-key.pem ca.csr ca-key.pem etcd-cert.sh server-csr.json server.pem1.5 启动 etcd 服务
上传 etcd-v3.4.9-linux-amd64.tar.gz 到 /opt/k8s 目录中
[root@master01 etcd-cert]# cd /opt/k8s/ [root@master01 k8s]# https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz [root@master01 k8s]# rz -E rz waiting to receive. [root@master01 k8s]# ls etcd-cert etcd.sh etcd-v3.4.9-linux-amd64.tar.gz [root@master01 k8s]# tar zxvf etcd-v3.4.9-linux-amd64.tar.gz [root@master01 k8s]# ls etcd-v3.4.9-linux-amd64 Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md # etcd就是etcd 服务的启动命令，后面可跟各种启动参数 # etcdctl主要为etcd 服务提供了命令行操作1.6 创建配置文件证书目录
创建用于存放 etcd 配置文件，命令文件，证书的目录
[root@master01 k8s]# mkdir -p /opt/etcd/{cfg,bin,ssl} [root@master01 k8s]# cd etcd-v3.4.9-linux-amd64/ [root@master01 etcd-v3.4.9-linux-amd64]# ls Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md [root@master01 etcd-v3.4.9-linux-amd64]# mv etcd etcdctl /opt/etcd/bin/ [root@master01 ~]# cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/ [root@master01 ~]# cd /opt/k8s/ [root@master01 k8s]# ./etcd.sh etcd01 192.168.190.100 etcd02=https://192.168.190.102:2380,etcd03=https://192.168.190.103:2380 # 进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况 可另外打开一个窗口查看etcd进程是否正常： ps -ef | grep etcd1.7 拷贝 etcd 文件至其他节点
把 etcd 相关证书文件、命令文件和服务管理文件全部拷贝到另外两个 etcd 集群节点
[root@master01 k8s]# scp -r /opt/etcd/ root@node01:/opt/ [root@master01 k8s]# scp -r /opt/etcd/ root@node02:/opt/ [root@master01 k8s]# scp /usr/lib/systemd/system/etcd.service root@node01:/usr/lib/systemd/system/ [root@master01 k8s]# scp /usr/lib/systemd/system/etcd.service root@node02:/usr/lib/systemd/system/2. 修改 node02 etcd 配置文件
2.1 修改 etcd 配置文件
[root@node01 ~]# vim /opt/etcd/cfg/etcd #[Member] ETCD_NAME="etcd02" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://192.168.190.102:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.190.102:2379" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.190.102:2380" ETCD_ADVERTISE_CLIENT_URLS="https://192.168.190.102:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.190.100:2380,etcd02=https://192.168.190.102:2380,etcd03=https://192.168.190.103:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"2.2 启动 etcd 服务
[root@node01 ~]# systemctl enable --now etcd.service [root@node01 ~]# systemctl status etcd.service ● etcd.service - Etcd Server Loaded: loaded (/usr/lib/systemd/system/etcd.service; enabled; vendor preset: disabled) Active: active (running) since 一 2024-05-13 15:25:28 CST; 3s ago Main PID: 39561 (etcd)3. 修改 node03 etcd 配置文件
node02 节点上操作
3.1 修改 etcd 配置文件
[root@node02 ~]# vim /opt/etcd/cfg/etcd #[Member] ETCD_NAME="etcd03" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://192.168.190.103:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.190.103:2379" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.190.103:2380" ETCD_ADVERTISE_CLIENT_URLS="https://192.168.190.103:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.190.100:2380,etcd02=https://192.168.190.102:2380,etcd03=https://192.168.190.103:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"3.2 启动 etcd 服务
[root@node02 ~]# systemctl enable --now etcd.service Created symlink from /etc/systemd/system/multi-user.target.wants/etcd.service to /usr/lib/systemd/system/etcd.service. [root@node02 ~]# systemctl status etcd.service ● etcd.service - Etcd Server Loaded: loaded (/usr/lib/systemd/system/etcd.service; enabled; vendor preset: disabled) Active: active (running) since 一 2024-05-13 15:28:18 CST; 15s ago Main PID: 6783 (etcd)4. 检查 etcd 群集状态
[root@master01 k8s]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.190.100:2379,https://192.168.190.102:2379,https://192.168.190.103:2379" endpoint health --write-out=table +------------------------------+--------+-------------+-------+ | ENDPOINT | HEALTH | TOOK | ERROR | +------------------------------+--------+-------------+-------+ | https://192.168.190.100:2379 | true | 26.529107ms | | | https://192.168.190.102:2379 | true | 30.65982ms | | | https://192.168.190.103:2379 | true | 34.404428ms | | +------------------------------+--------+-------------+-------+ [root@master01 k8s]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.190.100:2379,https://192.168.190.102:2379,https://192.168.190.103:2379" endpoint status --write-out=table +------------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+ | ENDPOINT | ID | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS | +------------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+ | https://192.168.190.100:2379 | 89d026e8ec4cd7cf | 3.4.9 | 20 kB | true | false | 834 | 9 | 9 | | | https://192.168.190.102:2379 | 98639068bd0e31f3 | 3.4.9 | 20 kB | false | false | 834 | 9 | 9 | | | https://192.168.190.103:2379 | e8ed9fc61074cf0b | 3.4.9 | 20 kB | false | false | 834 | 9 | 9 | | +------------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+ # --cert-file：识别HTTPS端使用SSL证书文件 # --key-file：使用此SSL密钥文件标识HTTPS客户端 # --ca-file：使用此CA证书验证启用https的服务器的证书 # --endpoints：集群中以逗号分隔的机器地址列表 # cluster-health：检查etcd集群的运行状况5. 查看 etcd 集群成员列表
[root@master01 k8s]# ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.190.100:2379,https://192.168.190.102:2379,https://192.168.190.103:2379" --write-out=table member list +------------------+---------+--------+------------------------------+------------------------------+------------+ | ID | STATUS | NAME | PEER ADDRS | CLIENT ADDRS | IS LEARNER | +------------------+---------+--------+------------------------------+------------------------------+------------+ | 89d026e8ec4cd7cf | started | etcd01 | https://192.168.190.100:2380 | https://192.168.190.100:2379 | false | | 98639068bd0e31f3 | started | etcd02 | https://192.168.190.102:2380 | https://192.168.190.102:2379 | false | | e8ed9fc61074cf0b | started | etcd03 | https://192.168.190.103:2380 | https://192.168.190.103:2379 | false | +------------------+---------+--------+------------------------------+------------------------------+------------+6. 快照与还原
① 需要将所有 etcd 节点均挂起再进行快照
② 同样的，需要将其它正在运行的 etcd 节点均挂起，再进行还原需要的 etcd 节点；即一台一台还原，且还原过程中，其他 etcd 节点挂起。
四、部署 Master 组件
master 组件签发证书。
1. 上传 master.zip 和 k8s-cert.sh
到 /opt/k8s 目录中，解压 master.zip 压缩包，在 master01 节点上操作
[root@master01 ~]# cd /opt/k8s/ [root@master01 k8s]# rz -E rz waiting to receive. [root@master01 k8s]# ls etcd-cert etcd-v3.4.9-linux-amd64 k8s-cert.sh etcd.sh etcd-v3.4.9-linux-amd64.tar.gz master.zip [root@master01 k8s]# chmod +x *.sh2. 创建 kubernetes 工作目录
[root@master01 k8s]# mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}3. 创建 CA证书私钥目录
创建用于生成CA证书、相关组件的证书和私钥的目录
[root@master01 k8s]# mkdir /opt/k8s/k8s-cert [root@master01 k8s]# ls admin.sh etcd-cert etcd-v3.4.9-linux-amd64.tar.gz master.zip apiserver.sh etcd.sh k8s-cert scheduler.sh controller-manager.sh etcd-v3.4.9-linux-amd64 k8s-cert.sh [root@master01 k8s]# mv k8s-cert.sh /opt/k8s/k8s-cert [root@master01 k8s]# cd /opt/k8s/k8s-cert/ [root@master01 k8s-cert]# ./k8s-cert.sh # 生成CA证书、相关组件的证书和私钥 [root@master01 k8s-cert]# ls *pem admin-key.pem apiserver-key.pem ca-key.pem kube-proxy-key.pem admin.pem apiserver.pem ca.pem kube-proxy.pemk8s-cert.sh：
#!/bin/bash #配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书 cat > ca-config.json <ca-csr.json < apiserver-csr.json < admin-csr.json < kube-proxy-csr.json < 4. 拷贝证书私钥
复制CA证书、apiserver相关证书和私钥到 kubernetes工作目录的 ssl 子目录中
[root@master01 k8s-cert]# cp ca*pem apiserver*pem /opt/kubernetes/ssl/5. 上传 kubernetes-server-linux-amd64.tar.gz
到 /opt/k8s/ 目录中，解压 kubernetes 压缩包
下载地址：https://github.com/kubernetes/kubernetes/blob/release-1.20/CHANGELOG/CHANGELOG-1.20.md # 下载一个server包就够了，包含了Master和Worker Node二进制文件 [root@master01 k8s-cert]# cd /opt/k8s/ [root@master01 k8s]# rz -E rz waiting to receive. [root@master01 k8s]# ls admin.sh etcd.sh kubernetes-server-linux-amd64.tar.gz apiserver.sh etcd-v3.4.9-linux-amd64 master.zip controller-manager.sh etcd-v3.4.9-linux-amd64.tar.gz scheduler.sh etcd-cert k8s-cert [root@master01 k8s]# tar zxvf kubernetes-server-linux-amd64.tar.gz6. 拷贝 master 组件
复制master组件的关键命令文件到 kubernetes工作目录的 bin 子目录中
[root@master01 k8s]# cd /opt/k8s/kubernetes/server/bin [root@master01 bin]# ls apiextensions-apiserver kube-controller-manager kube-proxy.docker_tag kubeadm kube-controller-manager.docker_tag kube-proxy.tar kube-aggregator kube-controller-manager.tar kube-scheduler kube-apiserver kubectl kube-scheduler.docker_tag kube-apiserver.docker_tag kubelet kube-scheduler.tar kube-apiserver.tar kube-proxy mounter [root@master01 bin]# cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/ [root@master01 bin]# ln -s /opt/kubernetes/bin/* /usr/local/bin/7. 创建 bootstrap token 认证文件
apiserver 启动时会调用，然后就相当于在集群内创建了一个这个用户，接下来就可以用 RBAC 给他授权。
[root@master01 bin]# cd /opt/k8s/ [root@master01 k8s]# vim token.sh #!/bin/bash #获取随机数前16个字节内容，以十六进制格式输出，并删除其中空格 BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ') #生成 token.csv 文件，按照 Token序列号,用户名,UID,用户组 的格式生成 cat > /opt/kubernetes/cfg/token.csv <8. 开启 apiserver 服务
二进制文件、token、证书都准备好后，开启 apiserver 服务。
apiserver.sh：
#!/bin/bash #example: apiserver.sh 192.168.190.100 https://192.168.190.100:2379,https://192.168.190.102:2379,https://192.168.190.103:2379 #创建 kube-apiserver 启动参数配置文件 MASTER_ADDRESS=$1 ETCD_SERVERS=$2 cat >/opt/kubernetes/cfg/kube-apiserver </usr/lib/systemd/system/kube-apiserver.service < 执行脚本：
[root@master01 k8s]# ./apiserver.sh 192.168.190.100 https://192.168.190.100:2379,https://192.168.190.102:2379,https://192.168.190.103:2379 Created symlink from /etc/systemd/system/multi-user.target.wants/kube-apiserver.service to /usr/lib/systemd/system/kube-apiserver.service. [root@master01 k8s]# ps aux | grep kube-apiserver [root@master01 k8s]# netstat -natp | grep 6443 tcp 0 0 192.168.190.100:6443 0.0.0.0:* LISTEN 38425/kube-apiserve tcp 0 0 192.168.190.100:57686 192.168.190.100:6443 ESTABLISHED 38425/kube-apiserve tcp 0 0 192.168.190.100:6443 192.168.190.100:57686 ESTABLISHED 38425/kube-apiserve9. 启动 scheduler 服务
[root@master01 k8s]# ./scheduler.sh [root@master01 k8s]# ps aux | grep kube-scheduler root 38559 25.4 1.0 748212 30020 ? Ssl 22:58 0:02 /opt/kubernetes/bin/kube-scheduler --logtostderr=false --v=2 --log-dir=/opt/kubernetes/logs --leader-elect=true --kubeconfig=/opt/kubernetes/cfg/kube-scheduler.kubeconfig --bind-address=127.0.0.1 root 38570 0.0 0.0 112676 988 pts/2 S+ 22:58 0:00 grep --color=auto kube-schedulerscheduler.sh：
#!/bin/bash ##创建 kube-scheduler 启动参数配置文件 MASTER_ADDRESS=$1 cat >/opt/kubernetes/cfg/kube-scheduler <kube-scheduler-csr.json << EOF { "CN": "system:kube-scheduler", "hosts": [], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "L": "BeiJing", "ST": "BeiJing", "O": "system:masters", "OU": "System" } ] } EOF #生成证书 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-scheduler-csr.json | cfssljson -bare kube-scheduler #生成kubeconfig文件 KUBE_CONFIG="/opt/kubernetes/cfg/kube-scheduler.kubeconfig" KUBE_APISERVER="https://192.168.190.100:6443" kubectl config set-cluster kubernetes \ --certificate-authority=/opt/kubernetes/ssl/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=${KUBE_CONFIG} kubectl config set-credentials kube-scheduler \ --client-certificate=./kube-scheduler.pem \ --client-key=./kube-scheduler-key.pem \ --embed-certs=true \ --kubeconfig=${KUBE_CONFIG} kubectl config set-context default \ --cluster=kubernetes \ --user=kube-scheduler \ --kubeconfig=${KUBE_CONFIG} kubectl config use-context default --kubeconfig=${KUBE_CONFIG} ##创建 kube-scheduler.service 服务管理文件 cat >/usr/lib/systemd/system/kube-scheduler.service < 10. 启动 controller-manager 服务
[root@master01 k8s]# ./controller-manager.sh [root@master01 k8s]# ps aux | grep kube-controller-manager root 38670 51.2 1.7 815960 51280 ? Ssl 22:59 0:03 /opt/kubernetes/bin/kube-controller-manager --logtostderr=false --v=2 --log-dir=/opt/kubernetes/logs --leader-elect=true --kubeconfig=/opt/kubernetes/cfg/kube-controller-manager.kubeconfig --bind-address=127.0.0.1 --allocate-node-cidrs=true --cluster-cidr=10.244.0.0/16 --service-cluster-ip-range=10.0.0.0/24 --cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem --cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem --root-ca-file=/opt/kubernetes/ssl/ca.pem --service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem --cluster-signing-duration=87600h0m0s root 38681 0.0 0.0 112676 988 pts/2 S+ 22:59 0:00 grep --color=auto kube-controller-managercontroller-manager.sh：
#!/bin/bash ##创建 kube-controller-manager 启动参数配置文件 MASTER_ADDRESS=$1 cat >/opt/kubernetes/cfg/kube-controller-manager <kube-controller-manager-csr.json << EOF { "CN": "system:kube-controller-manager", "hosts": [], "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "L": "BeiJing", "ST": "BeiJing", "O": "system:masters", "OU": "System" } ] } EOF #生成证书 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-controller-manager-csr.json | cfssljson -bare kube-controller-manager #生成kubeconfig文件 KUBE_CONFIG="/opt/kubernetes/cfg/kube-controller-manager.kubeconfig" KUBE_APISERVER="https://192.168.190.100:6443" kubectl config set-cluster kubernetes \ --certificate-authority=/opt/kubernetes/ssl/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=${KUBE_CONFIG} kubectl config set-credentials kube-controller-manager \ --client-certificate=./kube-controller-manager.pem \ --client-key=./kube-controller-manager-key.pem \ --embed-certs=true \ --kubeconfig=${KUBE_CONFIG} kubectl config set-context default \ --cluster=kubernetes \ --user=kube-controller-manager \ --kubeconfig=${KUBE_CONFIG} kubectl config use-context default --kubeconfig=${KUBE_CONFIG} ##创建 kube-controller-manager.service 服务管理文件 cat >/usr/lib/systemd/system/kube-controller-manager.service < 11. 生成 kubectl 连接集群的 kubeconfig 文件
[root@master01 k8s]# ./admin.sh Cluster "kubernetes" set. User "cluster-admin" set. Context "default" created. Switched to context "default".admin.sh：
#!/bin/bash mkdir /root/.kube KUBE_CONFIG="/root/.kube/config" KUBE_APISERVER="https://192.168.190.100:6443" cd /opt/k8s/k8s-cert/ kubectl config set-cluster kubernetes \ --certificate-authority=/opt/kubernetes/ssl/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=${KUBE_CONFIG} kubectl config set-credentials cluster-admin \ --client-certificate=./admin.pem \ --client-key=./admin-key.pem \ --embed-certs=true \ --kubeconfig=${KUBE_CONFIG} kubectl config set-context default \ --cluster=kubernetes \ --user=cluster-admin \ --kubeconfig=${KUBE_CONFIG} kubectl config use-context default --kubeconfig=${KUBE_CONFIG}12. 通过 kubectl 工具查看当前集群组件状态
[root@master01 k8s]# kubectl get cs [root@master01 k8s]# kubectl get cs Warning: v1 ComponentStatus is deprecated in v1.19+ NAME STATUS MESSAGE ERROR scheduler Healthy ok controller-manager Healthy ok etcd-1 Healthy {"health":"true"} etcd-0 Healthy {"health":"true"} etcd-2 Healthy {"health":"true"}13. 查看版本信息
[root@master01 k8s]# kubectl version Client Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.11", GitCommit:"27522a29febbcc4badac257763044d0d90c11abd", GitTreeState:"clean", BuildDate:"2021-09-15T19:21:44Z", GoVersion:"go1.15.15", Compiler:"gc", Platform:"linux/amd64"} Server Version: version.Info{Major:"1", Minor:"20", GitVersion:"v1.20.11", GitCommit:"27522a29febbcc4badac257763044d0d90c11abd", GitTreeState:"clean", BuildDate:"2021-09-15T19:16:25Z", GoVersion:"go1.15.15", Compiler:"gc", Platform:"linux/amd64"}五、部署 Worker Node 组件
在所有 node 节点上操作
1. 创建 kubernetes 工作目录
[root@node01 ~]# mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}2. 上传 node.zip
到 /opt 目录中，解压 node.zip 压缩包，获得kubelet.sh、proxy.sh
[root@node01 opt]# rz -E rz waiting to receive. [root@node01 opt]# ls containerd etcd kubernetes node.zip rh [root@node01 opt]# unzip node.zip [root@node01 opt]# ls containerd etcd kubelet.sh kubernetes node.zip proxy.sh rh [root@node01 opt]# chmod +x kubelet.sh proxy.sh2. 准备 kubelet、kube-proxy 文件
2.1 把 kubelet、kube-proxy 拷贝到 node 节点
[root@master01 k8s]# cd /opt/k8s/kubernetes/server/bin [root@master01 bin]# ls apiextensions-apiserver kube-controller-manager kube-proxy.docker_tag kubeadm kube-controller-manager.docker_tag kube-proxy.tar kube-aggregator kube-controller-manager.tar kube-scheduler kube-apiserver kubectl kube-scheduler.docker_tag kube-apiserver.docker_tag kubelet kube-scheduler.tar kube-apiserver.tar kube-proxy mounter [root@master01 bin]# scp kubelet kube-proxy root@node01:/opt/kubernetes/bin/ [root@master01 bin]# scp kubelet kube-proxy root@node02:/opt/kubernetes/bin/2.2 上传kubeconfig.sh文件
到/opt/k8s/kubeconfig目录中
生成kubelet初次加入集群引导kubeconfig文件和kube-proxy.kubeconfig文件；
kubeconfig 文件包含集群参数（CA 证书、API Server 地址），客户端参数（上面生成的证书和私钥），集群 context 上下文参数（集群名称、用户名）。Kubenetes 组件（如 kubelet、kube-proxy）通过启动时指定不同的 kubeconfig 文件可以切换到不同的集群，连接到 apiserver。
执行脚本：
[root@master01 bin]# mkdir /opt/k8s/kubeconfig [root@master01 bin]# cd /opt/k8s/kubeconfig [root@master01 kubeconfig]# rz -E rz waiting to receive. [root@master01 kubeconfig]# ls kubeconfig.sh [root@master01 kubeconfig]# vim kubeconfig.sh [root@master01 kubeconfig]# chmod +x kubeconfig.sh [root@master01 kubeconfig]# ./kubeconfig.sh 192.168.190.100 /opt/k8s/k8s-cert/ [root@master01 kubeconfig]# ls bootstrap.kubeconfig kubeconfig.sh kube-proxy.kubeconfigkubeconfig.sh：
#!/bin/bash #example: kubeconfig 192.168.190.100 /opt/k8s/k8s-cert/ #创建bootstrap.kubeconfig文件 #该文件中内置了 token.csv 中用户的 Token，以及 apiserver CA 证书；kubelet 首次启动会加载此文件，使用 apiserver CA 证书建立与 apiserver 的 TLS 通讯，使用其中的用户 Token 作为身份标识向 apiserver 发起 CSR 请求 BOOTSTRAP_TOKEN=$(awk -F ',' '{print $1}' /opt/kubernetes/cfg/token.csv) APISERVER=$1 SSL_DIR=$2 export KUBE_APISERVER="https://$APISERVER:6443" # 设置集群参数 kubectl config set-cluster kubernetes \ --certificate-authority=$SSL_DIR/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=bootstrap.kubeconfig #--embed-certs=true：表示将ca.pem证书写入到生成的bootstrap.kubeconfig文件中 # 设置客户端认证参数，kubelet 使用 bootstrap token 认证 kubectl config set-credentials kubelet-bootstrap \ --token=${BOOTSTRAP_TOKEN} \ --kubeconfig=bootstrap.kubeconfig # 设置上下文参数 kubectl config set-context default \ --cluster=kubernetes \ --user=kubelet-bootstrap \ --kubeconfig=bootstrap.kubeconfig # 使用上下文参数生成 bootstrap.kubeconfig 文件 kubectl config use-context default --kubeconfig=bootstrap.kubeconfig #---------------------- #创建kube-proxy.kubeconfig文件 # 设置集群参数 kubectl config set-cluster kubernetes \ --certificate-authority=$SSL_DIR/ca.pem \ --embed-certs=true \ --server=${KUBE_APISERVER} \ --kubeconfig=kube-proxy.kubeconfig # 设置客户端认证参数，kube-proxy 使用 TLS 证书认证 kubectl config set-credentials kube-proxy \ --client-certificate=$SSL_DIR/kube-proxy.pem \ --client-key=$SSL_DIR/kube-proxy-key.pem \ --embed-certs=true \ --kubeconfig=kube-proxy.kubeconfig # 设置上下文参数 kubectl config set-context default \ --cluster=kubernetes \ --user=kube-proxy \ --kubeconfig=kube-proxy.kubeconfig # 使用上下文参数生成 kube-proxy.kubeconfig 文件 kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig2.3 拷贝配置文件到 node 节点
把配置文件 bootstrap.kubeconfig、kube-proxy.kubeconfig 拷贝到 node 节点
[root@master01 kubeconfig]# scp bootstrap.kubeconfig kube-proxy.kubeconfig root@node01:/opt/kubernetes/cfg/ [root@master01 kubeconfig]# scp bootstrap.kubeconfig kube-proxy.kubeconfig root@node02:/opt/kubernetes/cfg/2.4 RBAC 授权
使用户 kubelet-bootstrap 能够有权限发起 CSR 请求证书
[root@master01 kubeconfig]# kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap clusterrolebinding.rbac.authorization.k8s.io/kubelet-bootstrap created # 若执行失败，可先给kubectl绑定默认cluster-admin管理员集群角色，授权集群操作权限 kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous3. 启动 kubelet 服务
在 node01 节点上操作
[root@node01 ~]# cd /opt/ [root@node01 opt]# ls containerd etcd kubelet.sh kubernetes node.zip proxy.sh rh [root@node01 opt]# ./kubelet.sh 192.168.190.102 # 填写自己的ip Created symlink from /etc/systemd/system/multi-user.target.wants/kubelet.service to /usr/lib/systemd/system/kubelet.service. [root@node01 opt]# ps aux | grep kubelet root 40378 14.8 2.7 942476 50968 ? Ssl 23:08 0:01 /opt/kubernetes/bin/kubelet --logtostderr=false --v=2 --log-dir=/opt/kubernetes/logs --hostname-override=192.168.190.102 --network-plugin=cni --kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig --bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig --config=/opt/kubernetes/cfg/kubelet.config --cert-dir=/opt/kubernetes/ssl --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0 root 40391 0.0 0.0 112676 980 pts/0 S+ 23:08 0:00 grep --color=auto kubeletkubelet.sh ：
#!/bin/bash NODE_ADDRESS=$1 DNS_SERVER_IP=${2:-"10.0.0.2"} #创建 kubelet 启动参数配置文件 cat >/opt/kubernetes/cfg/kubelet </opt/kubernetes/cfg/kubelet.config < /usr/lib/systemd/system/kubelet.service < 4. 授权 CSR 请求并签发证书
在 master01 节点上操作
4.1 检查到 node01 节点的 kubelet 发起的 CSR 请求
Pending 表示等待集群给该节点签发证书
获取Kubernetes中所有证书签发请求 (CSR) 的列表： [root@master01 kubeconfig]# kubectl get csr NAME AGE SIGNERNAME REQUESTOR CONDITION node-csr-jUqxR9_nQjM6-F3B6i06EYOLpi4tSau1jWlHGiqYLFY 36s kubernetes.io/kube-apiserver-client-kubelet kubelet-bootstrap Pending4.2 手动批准节点的证书签发请求
[root@master01 kubeconfig]# kubectl certificate approve node-csr-jUqxR9_nQjM6-F3B6i06EYOLpi4tSau1jWlHGiqYLFY certificatesigningrequest.certificates.k8s.io/node-csr-jUqxR9_nQjM6-F3B6i06EYOLpi4tSau1jWlHGiqYLFY approved4.3 再次查看 Kubernetes 中所有证书签发请求 (CSR) 的列表
[root@master01 kubeconfig]# kubectl get csr NAME AGE SIGNERNAME REQUESTOR CONDITION node-csr-jUqxR9_nQjM6-F3B6i06EYOLpi4tSau1jWlHGiqYLFY 118s kubernetes.io/kube-apiserver-client-kubelet kubelet-bootstrap Approved,Issued # Pending: CSR已经被创建，但还没有被审批。 # Approved: CSR已经被API服务器认可，意味着一个有权限的实体（如集群管理员）已经批准了这个签名请求。 # Denied: CSR被拒绝，通常是因为审批者认为该请求不应被批准。 # Issued: 表明CSR不仅被批准，而且证书实际上已经被签发了。4.4 查看节点
由于网络插件还没有部署，节点会没有准备就绪 NotReady
[root@master01 kubeconfig]# kubectl get node NAME STATUS ROLES AGE VERSION 192.168.190.102 NotReady59s v1.20.11 5. 添加负载均衡的内核模块
在 master01 节点上操作
5.1 添加 ip_vs 模块
[root@master01 ~]# for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done5.2 启动 proxy 服务
[root@node01 ~]# cd /opt/ [root@node01 opt]# ./proxy.sh 192.168.190.102 [root@node01 opt]# ps aux | grep kube-proxy root 42044 2.4 1.5 743556 29824 ? Ssl 23:17 0:00 /opt/kubernetes/bin/kube-proxy --logtostderr=true --v=4 --hostname-override=192.168.190.102 --cluster-cidr=172.17.0.0/16 --proxy-mode=ipvs --kubeconfig=/opt/kubernetes/cfg/kube-proxy.kubeconfig root 42164 0.0 0.0 112676 988 pts/0 S+ 23:17 0:00 grep --color=auto kube-proxyproxy.sh：
#!/bin/bash NODE_ADDRESS=$1 #创建 kube-proxy 启动参数配置文件 cat >/opt/kubernetes/cfg/kube-proxy </usr/lib/systemd/system/kube-proxy.service < 五、部署 CNI 网络组件
1. 部署 flannel
在 node01 节点上操作：
1.1 上传 cni、flannel 安装包
上传 cni-plugins-linux-amd64-v0.8.6.tgz 和 flannel.tar 到 /opt 目录中
[root@node01 opt]# rz -E rz waiting to receive. [root@node01 opt]# ls cni-plugins-linux-amd64-v0.8.6.tgz etcd kubelet.sh node.zip rh containerd flannel.tar kubernetes proxy.sh [root@node01 opt]# docker load -i flannel.tar # 加载docker镜像 [root@node01 opt]# mkdir /opt/cni/bin -p [root@node01 opt]# tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin/1.2 node02 节点部署 kubelet、proxy 服务
1.2.1 文件传输
在 node01 节点上操作:
[root@node01 ~]# cd /opt/ [root@node01 opt]# scp kubelet.sh proxy.sh root@192.168.190.103:/opt/ [root@node01 opt]# scp -r /opt/cni root@192.168.190.103:/opt/1.2.2 启动 kubelet 服务
在 node02 节点上操作：
[root@node02 ~]# cd /opt/ [root@node02 opt]# ./kubelet.sh 192.168.190.1031.2.3 签发证书并通过CSR请求
在 master01 节点上操作：
[root@master01 ~]# kubectl get csr NAME AGE SIGNERNAME REQUESTOR CONDITION node-csr-eRjMsiTAV7Xr-hNdT1WYIJ5I2_nOM77afswwbhmiias 4m kubernetes.io/kube-apiserver-client-kubelet kubelet-bootstrap Pending [root@master01 ~]# kubectl certificate approve node-csr-eRjMsiTAV7Xr-hNdT1WYIJ5I2_nOM77afswwbhmiias [root@master01 ~]# kubectl get csr NAME AGE SIGNERNAME REQUESTOR CONDITION node-csr-eRjMsiTAV7Xr-hNdT1WYIJ5I2_nOM77afswwbhmiias 4m20s kubernetes.io/kube-apiserver-client-kubelet kubelet-bootstrap Approved,Issued1.2.4 加载 ipvs 模块
在 node02 节点上操作：
[root@node02 ~]# for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done1.2.5 使用proxy.sh脚本启动proxy服务
在 node02 节点上操作：
[root@node02 ~]# cd /opt/ [root@node02 opt]# ./proxy.sh 192.168.190.1031.2.6 查看群集中的节点状态
在 master01 节点上操作：
[root@master01 ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION 192.168.190.102 Ready39h v1.20.11 192.168.190.103 Ready 4m10s v1.20.11 1.3 部署 CNI 网络
上传 kube-flannel.yml 文件到 /opt/k8s 目录中
[root@master01 k8s]# rz -E rz waiting to receive. [root@master01 k8s]# ls admin.sh etcd.sh kubeconfig master.zip apiserver.sh etcd-v3.4.9-linux-amd64 kube-flannel.yml scheduler.sh controller-manager.sh etcd-v3.4.9-linux-amd64.tar.gz kubernetes token.sh etcd-cert k8s-cert kubernetes-server-linux-amd64.tar.gz [root@master01 k8s]# kubectl apply -f kube-flannel.yml # 指定的YAML文件（kube-flannel.yml）来创建或更新Kubernetes集群中的资源1.4 查看集群节点信息
查看kube-system命名空间中所有Pod的状态和相关信息：
[root@master01 k8s]# kubectl get pods -n kube-system NAME READY STATUS RESTARTS AGE kube-flannel-ds-mlpj6 1/1 Running 0 22m kube-flannel-ds-qmgdw 1/1 Running 3 5m11s # NAME: Pod的名称 # READY: 表示Pod中容器的就绪状态。这里显示1/1，表示Pod中有一个容器，且该容器已经就绪。 # STATUS: 表示Pod的整体状态。这里显示Running，表示Pod正在运行。 # RESTARTS: 表示自Pod启动以来容器重启的次数。这里显示0，表示容器没有发生重启。 # AGE: 表示Pod创建后经过的时间。这里显示2m48s，表示Pod已经运行了2分钟48秒。获取当前Kubernetes集群中所有节点（nodes）的列表：
[root@master01 k8s]# kubectl get nodes NAME STATUS ROLES AGE VERSION 192.168.190.102 Ready38h v1.20.11 192.168.190.103 Ready 4m10s v1.20.11 # NAME: 节点的名称，通常节点的名称可以是IP地址或者主机名。 # STATUS: 节点的状态。这里显示Ready，表示节点处于就绪状态，可以接受工作负载。 # ROLES: 节点的角色。这里显示，表示节点没有特定的角色。 # AGE: 节点的创建时间。这里显示38h，表示节点已经存在38小时。 # VERSION: Kubernetes集群中该节点的Kubernetes版本为v1.20.11。 2. 部署 Calico
Calico 与 Flannel 是两种插件（服务），这里介绍 Calico 部署，将前面的操作进行快照保存。
2.1 部署 CNI 网络
在 master01 节点上操作，上传 calico.yaml 文件到 /opt/k8s 目录中
[root@master01 ~]# cd /opt/k8s [root@master01 k8s]# rz -E rz waiting to receive. [root@master01 k8s]# ls admin.sh etcd-cert k8s-cert master.zip apiserver.sh etcd.sh kubeconfig scheduler.sh calico.yaml etcd-v3.4.9-linux-amd64 kubernetes token.sh controller-manager.sh etcd-v3.4.9-linux-amd64.tar.gz kubernetes-server-linux-amd64.tar.gz 注意yml格式对齐： [root@master01 k8s]# vim calico.yaml - name: CALICO_IPV4POOL_CIDR value: "10.244.0.0/16" # Calico 默认使用的网段为 192.168.0.0/16 # 修改里面定义 Pod 的网络（CALICO_IPV4POOL_CIDR），需与前面 kube-controller-manager 配置文件指定的 cluster-cidr 网段一样 [root@master01 k8s]# kubectl apply -f calico.yaml # Kubernetes将会读取calico.yaml文件中定义的资源（如Pod、Service、Deployment等），然后在集群中创建、更新或删除这些资源，以使集群的状态与配置文件中定义的状态一致。 # 这个命令通常用于部署网络插件（如Calico）或其他Kubernetes资源配置。2.2 查看集群组件状态
[root@master01 k8s]# kubectl get pods -n kube-system NAME READY STATUS RESTARTS AGE calico-kube-controllers-659bd7879c-qmgdw 1/1 Running 0 8m4s calico-node-gstw5 1/1 Running 0 6m24s calico-node-mlpj6 1/1 Running 0 8m4s六、部署 CoreDNS
CoreDNS 可以为集群中的 service 资源创建一个域名 与 IP 的对应关系解析，可以提供稳定的、可靠的 DNS 服务，简化 Kubernetes 集群内部服务之间的通信，同时也为管理员提供了灵活的配置选项和扩展能力。
1. 上传 coredns 镜像
上传 coredns.tar 到 /opt 目录中，在所有 node 节点上操作
[root@node01 opt]# rz -E rz waiting to receive. [root@node01 opt]# docker load -i coredns.tar [root@node01 opt]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE quay.io/coreos/flannel v0.14.0 8522d622299c 2 years ago 67.9MB k8s.gcr.io/coredns 1.7.0 bfe3a36ebd25 3 years ago 45.2MB registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64 3.0 99e59f495ffa 8 years ago 747kB2. Master01 节点部署 CoreDNS
上传 coredns.yaml 文件到 /opt/k8s 目录中，在 master01 节点上操作
[root@master01 ~]# cd /opt/k8s [root@master01 k8s]# kubectl apply -f coredns.yaml根据 coredns.yaml 文件中的配置信息，在 Kubernetes 集群中创建或更新 CoreDNS 相关的资源
[root@master01 k8s]# kubectl apply -f coredns.yaml获取位于 kube-system 命名空间下的所有 Pod 的列表
[root@master01 k8s]# kubectl get pods -n kube-system NAME READY STATUS RESTARTS AGE coredns-6954c77b9b-gstw5 1/1 Running 0 9s kube-flannel-ds-mlpj6 1/1 Running 0 81m kube-flannel-ds-qmgdw 1/1 Running 3 64m3. DNS 解析测试
[root@master01 k8s]# kubectl run -it --rm dns-test --image=busybox:1.28.4 sh If you don't see a command prompt, try pressing enter. Error attaching, falling back to logs: unable to upgrade connection: Forbidden (user=system:anonymous, verb=create, resource=nodes, subresource=proxy) pod "dns-test" deleted Error from server (Forbidden): Forbidden (user=system:anonymous, verb=get, resource=nodes, subresource=proxy) ( pods/log dns-test)如果出现以上报错，需要添加 rbac的权限 直接使用kubectl绑定 clusteradmin 管理员集群角色 授权操作权限
[root@master01 k8s]# kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous clusterrolebinding.rbac.authorization.k8s.io/cluster-system-anonymous created [root@master01 k8s]# kubectl run -it --rm dns-test --image=busybox:1.28.4 sh If you don't see a command prompt, try pressing enter. / # nslookup kubernetes Server: 10.0.0.2 Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local Name: kubernetes Address 1: 10.0.0.1 kubernetes.default.svc.cluster.local七、小结
etcd 安装步骤： 1.准备 CA 证书和私钥文件 ，首先 CA 签发服务端证书和私有文件 2.使用 CA 证书、服务端证书 、私有文件加上 etcd 集群配置文件去启动 etcd 服务 3.复制 etcd 工作目录和管理文件到另外几个节点上(node01 node02)，修改 etcd 集群配置文件并且启动 etcd 服务 4.使用 v3 版本的接口去执行 etcdctl + 证书选项(endpoint healh)| endpoint status | member list 査看 etcd 集群和节点的状态 master 组件安装： 1.先安装 apiserver （1）准备组件相关的证书和私钥文件 （2）准备 bootstrap token 认证文件，给 kubelet 启动时签发证书使用 （3）准备组件启动配置文件 （4）启动 apiserver 服务，端口是 6443 https 2.再启动 controller-manager 和 scheduler （1）准备启动配置文件 （2）准备相关证书和私钥文件生成 kubeconfig 文件（用于指定对接哪个 apiserver,使用什么证书认证）启动服务 3.检查集群组件状态 需要准备 kubeconfig 文件把 kubectl 加入到集群中（指定对接哪个apiserver，使用什么证书认证） kubectl get cs master 组件安装： 1.生成kubelet初次加入集群引导kubeconfig文件和kube-proxy.kubeconfig文件 2.把 kubelet、kube-proxy、bootstrap.kubeconfig kube-proxy.kubeconfig 拷贝到 node 节点 3.RBAC授权，使用户 kubelet-bootstrap 能够有权限发起 CSR 请求证书 4.在 node 节点启动 kubelet 服务 5.在 master 节点通过 CSR 请求并签发证书 6.在 master 节点使用命令 kubectl get node 获取集群中所有节点（Node）的信息 7.在 node 节点加载 ip_vs 模块，启动proxy服务
![[工业自动化-1]：PLC架构与工作原理](https://img-blog.csdnimg.cn/ce10a1471ed14382bc58364cf8bd5209.png)
还没有评论，来说两句吧...