k8s的二进制部署(源码包部署)

2023-12-27 20:26:20

实验条件:

主机名

IP地址

组件

作用

master01

20.0.0.17

kube-apiserver、kube-controller-manager、kube-scheduler、etcd

k8s部署

master02

20.0.0.27

kube-apiserver、kube-controller-manager、kube-scheduler

node01

20.0.0.37

kubelet、kube-proxy、etcd

node02

20.0.0.47

kubelet、kube-proxy、etcd

nginx01

20.0.0.11

nginx、keepalived

负载均衡

nginx02

20.0.0.21

nginx、keepalived

实验步骤:

【所有主机】

1、清空所有策略、关闭swap交换分区

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

swapoff -a

sed -ri 's/.*swap.*/#&/' /etc/fstab

2、安装时间同步工具

yum install ntpdate -y

ntpdate ntp.aliyun.com

3、主机映射

4、优化内核参数

vim /etc/sysctl.d/k8s.conf(创建k8s.conf文件)

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

net.ipv6.conf.all.disable_ipv6=1

net.ipv4.ip_forward=1

sysctl --system

5、安装dokcer

【master节点】

6、部署 etcd 集群

(1)准备cfssl证书生成工具

chmod +x /usr/local/bin/cfssl*

(2)生成Etcd证书

mkdir /opt/k8s

cd /opt/k8s/

#上传 etcd-cert.sh 和 etcd.sh 到 /opt/k8s/ 目录中

chmod +x etcd-cert.sh etcd.sh

(3)创建用于生成CA证书、etcd 服务器证书以及私钥的目录

mkdir /opt/k8s/etcd-cert

mv etcd-cert.sh etcd-cert/

cd /opt/k8s/etcd-cert/

./etcd-cert.sh #生成CA证书、etcd 服务器证书以及私钥

ca-config.json

证书颁发机构的配置文件,定义了证书生成的策略,默认的郭旗时间和模板

ca-csr.json

签名的请求文件,包括一些组织信息和加密方式

ca.pem

根证书文件,用于给其他组件签发证书

server.csr

etcd的服务器签发证书的请求文件

server-key.pem

etcd服务器的私钥文件

ca.csr

根证书签发请求文件

ca-key.pem

根证书的私钥文件

etcd-cert.sh

脚本

server-csr.json

用于生成etcd的服务器证书和私钥签名文件

server.pem

etcd服务器的证书文件,用于加密和认证etcd节点之间的通信

(4)上传 etcd-v3.4.9-linux-amd64.tar.gz 到 /opt/k8s 目录中,启动etcd服务

https://github.com/etcd-io/etcd/releases/download/v3.4.9/etcd-v3.4.9-linux-amd64.tar.gz

cd /opt/k8s/

tar zxvf etcd-v3.4.9-linux-amd64.tar.gz

(5)创建用于存放 etcd 配置文件,命令文件,证书的目录

mkdir -p /opt/etcd/{cfg,bin,ssl}

cd /opt/k8s/etcd-v3.4.9-linux-amd64/

mv etcd etcdctl /opt/etcd/bin/

cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/

cd /opt/k8s/

./etcd.sh etcd01 20.0.0.17 etcd02=https://20.0.0.37:2380,etcd03=https://20.0.0.47:2380

etcd

二进制文件

etcdctl

命令行执行工具

进入卡住状态等待其他节点加入,这里需要三台etcd服务同时启动,如果只启动其中一台后,

服务会卡在那里,直到集群中所有etcd节点都已启动,可忽略这个情况

可另外打开一个窗口查看etcd进程是否正常

ps -ef | grep etcd

(6)把etcd相关证书文件、命令文件和服务管理文件全部拷贝到另外两个etcd集群节点

scp -r /opt/etcd/ root@20.0.0.37:/opt/

scp -r /opt/etcd/ root@20.0.0.47:/opt/

验证node1、node2节点上是否已收到

scp /usr/lib/systemd/system/etcd.service root@20.0.0.37:/usr/lib/systemd/system/

scp /usr/lib/systemd/system/etcd.service root@20.0.0.47:/usr/lib/systemd/system/

【node1】

【node2】

ETCD安装完成

(7)依次启动ETCD,谁先启动谁是主

查看etcd集群成员列表

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://20.0.0.17:2379,https://20.0.0.37:2379,https://20.0.0.47:2379" --write-out=table member list

检查etcd群集状态

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://20.0.0.17:2379,https://20.0.0.37:2379,https://20.0.0.47:2379" endpoint health --write-out=table

7、部署 Master 组件

【master】

(1)上传 master.zip 和 k8s-cert.sh 到 /opt/k8s 目录中,解压 master.zip 压缩包

cd /opt/k8s/

unzip master.zip

chmod +x *.sh

context

上下文,定义连接到哪个k8s集群,以及使用哪个用户的身份进行操作,上下文包含集群、用户、可选命名空间的信息。目的:在k8s的集群环境中进行切换

(2)创建kubernetes工作目录

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

(2)创建用于生成CA证书、相关组件的证书和私钥的目录

mkdir /opt/k8s/k8s-cert

mv /opt/k8s/k8s-cert.sh /opt/k8s/k8s-cert

cd /opt/k8s/k8s-cert/

./k8s-cert.sh #生成CA证书、相关组件的证书和私钥

(3)复制CA证书、apiserver相关证书和私钥到 kubernetes工作目录的 ssl 子目录中

cp ca*pem apiserver*pem /opt/kubernetes/ssl/

(4)上传 kubernetes-server-linux-amd64.tar.gz 到 /opt/k8s/ 目录中,解压 kubernetes 压缩包

#下载地址:https://github.com/kubernetes/kubernetes/blob/release-1.20/CHANGELOG/CHANGELOG-1.20.md

#注:打开链接你会发现里面有很多包,下载一个server包就够了,包含了Master和Worker Node二进制文件。

cd /opt/k8s/

tar zxvf kubernetes-server-linux-amd64.tar.gz

(5)复制master组件的关键命令文件到 kubernetes工作目录的 bin 子目录中

cd /opt/k8s/kubernetes/server/bin

cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/

ln -s /opt/kubernetes/bin/* /usr/local/bin/

(6)创建 bootstrap token 认证文件,apiserver 启动时会调用,然后就相当于在集群内创建了一个这个用户,

接下来就可以用 RBAC 进行授权

cd /opt/k8s/

vim token.sh

#!/bin/bash

#获取随机数前16个字节内容,以十六进制格式输出,并删除其中空格

BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')

#生成 token.csv 文件,按照 Token序列号,用户名,UID,用户组 的格式生成

cat > /opt/kubernetes/cfg/token.csv <<EOF

${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"

EOF

chmod +x token.sh

./token.sh

cat /opt/kubernetes/cfg/token.csv

(7)二进制文件、token、证书都准备好后,开启 apiserver 服务

cd /opt/k8s/

./apiserver.sh 20.0.0.17?https://20.0.0.17:2379,https://20.0.0.37:2379,https://20.0.0.47:2379

检查进程是否启动成功

ps aux | grep kube-apiserver

netstat -natp | grep 6443 ??#安全端口6443用于接收HTTPS请求,用于基于Token文件或客户端证书等认证

(8)启动 scheduler 服务

cd /opt/k8s/

./scheduler.sh

ps aux | grep kube-scheduler

(9)启动 controller-manager 服务

./controller-manager.sh

ps aux | grep kube-controller-manager

(10)生成kubectl连接集群的kubeconfig文件

./admin.sh

(11)通过kubectl工具查看当前集群组件状态

kubectl get cs

(12)查看版本信息

kubectl version

8、部署node 组件

【node1、node2】

(1)创建kubernetes工作目录

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}

(2)上传 node.zip 到 /opt 目录中,解压 node.zip 压缩包,获得kubelet.sh、proxy.sh

cd /opt/

unzip node.zip

chmod +x kubelet.sh proxy.sh

【master】

(3)把 kubelet、kube-proxy 拷贝到 node 节点

cd /opt/k8s/kubernetes/server/bin

scp kubelet kube-proxy root@20.0.0.37:/opt/kubernetes/bin/

scp kubelet kube-proxy root@20.0.0.47:/opt/kubernetes/bin/

(4)上传kubeconfig.sh文件到/opt/k8s/kubeconfig目录中,生成kubelet初次加入集群引导kubeconfig文件和kube-proxy.kubeconfig文件

#kubeconfig 文件包含集群参数(CA 证书、API Server 地址),

客户端参数(上面生成的证书和私钥),集群 context 上下文参数(集群名称、用户名)

Kubenetes 组件(如 kubelet、kube-proxy)通过启动时指定不同的 kubeconfig 文件可以切换到不同的集群,

连接到 apiserver

mkdir /opt/k8s/kubeconfig

cd /opt/k8s/kubeconfig

chmod +x kubeconfig.sh

./kubeconfig.sh 20.0.0.17?/opt/k8s/k8s-cert/

(5)把配置文件 bootstrap.kubeconfig、kube-proxy.kubeconfig 拷贝到 node 节点

scp bootstrap.kubeconfig kube-proxy.kubeconfig root@20.0.0.37:/opt/kubernetes/cfg/

scp bootstrap.kubeconfig kube-proxy.kubeconfig root@20.0.0.47:/opt/kubernetes/cfg/

(6)RBAC授权,使用户 kubelet-bootstrap 能够有权限发起 CSR 请求证书

kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap

若执行失败,可先给kubectl绑定默认cluster-admin管理员集群角色,授权对整个集群的管理员权限

kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous

【node1】

(7)启动 kubelet 服务

cd /opt/

./kubelet.sh 20.0.0.37

ps aux | grep kubelet

【master】

(8)在 master01 节点上操作,通过 CSR 请求

#检查到 node01 节点的 kubelet 发起的 CSR 请求,Pending 表示等①待集群给该节点签发证书

kubectl get csr

②通过 CSR 请求

kubectl certificate approve node-csr-1yB8Di5O7ViXLgOr3yqnSWkAh2ug4IqN5QYFWQKzGQc

③Approved,Issued 表示已授权 CSR 请求并签发证书

kubectl get csr

【node2】

(9)启动 kubelet 服务

cd /opt/

./kubelet.sh 20.0.0.47

ps aux | grep kubelet

【master】

(10)在 master01 节点上操作,通过 CSR 请求

#检查到 node01 节点的 kubelet 发起的 CSR 请求,Pending 表示等①待集群给该节点签发证书

kubectl get csr

②通过 CSR 请求

kubectl certificate approve node-csr-1yB8Di5O7ViXLgOr3yqnSWkAh2ug4IqN5QYFWQKzGQc

③Approved,Issued 表示已授权 CSR 请求并签发证书

kubectl get csr

④查看节点,由于网络插件还没有部署,节点会没有准备就绪NotReady

kubectl get node

【node1】

(11)加载 ip_vs 模块

for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

(12)启动proxy服务

cd /opt/

./proxy.sh 20.0.0.37

ps aux | grep kube-proxy

【node2】

(13)加载 ip_vs 模块

for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

(14)启动proxy服务

cd /opt/

./proxy.sh 20.0.0.47

ps aux | grep kube-proxy

【master】

kubectl get cs

kubectl get node

注:自动补齐命令

【所有node节点】

9、部署网络

方式1:vxlan模式

【node01】

(1)上传 cni-plugins-linux-amd64-v0.8.6.tgz 和 flannel.tar 到 /opt 目录中

cd /opt/

docker load -i flannel.tar

mkdir -p /opt/cni/bin

tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

【node2】

(2)上传 cni-plugins-linux-amd64-v0.8.6.tgz 和 flannel.tar 到 /opt 目录中

cd /opt/

docker load -i flannel.tar

mkdir -p /opt/cni/bin

tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

【master】

(3)上传 kube-flannel.yml 文件到 /opt/k8s 目录中,部署 CNI 网络

cd /opt/k8s

kubectl apply -f kube-flannel.yml

kubectl get pods -n kube-system

kubectl get nodes

查看node1节点

查看node2节点

方式2:calico

【master】

(1)上传 calico.yaml 文件到 /opt/k8s 目录中,部署 CNI 网络

cd /opt/k8s

vim calico.yaml

#修改里面定义 Pod 的网络(CALICO_IPV4POOL_CIDR),需与前面 kube-controller-manager 配置文件指定的 cluster-cidr 网段一样

????- name: CALICO_IPV4POOL_CIDR

??????value: "10.244.0.0/16" ???????#Calico 默认使用的网段为 192.168.0.0/16

kubectl apply -f calico.yaml

kubectl get pods -n kube-system

等 Calico Pod 都 Running,节点也会准备就绪

kubectl get nodes

查看node节点

创建一个pod

kubectl create deployment nginx1 --image=nginx --replicas=3

每创建一个pod,就会生成一个cali网卡

每创建一个容器会生成一个路由表,路由表会越来越多,降低转发效率,需要定期维护

删除pod节点,会自动删除相应的网卡和路由表

10、部署多节点

【所有节点】

(1)主机映射

vim /etc/hosts

【slave】

(2)安装时间同步

yum install ntpdate -y

ntpdate ntp.aliyun.com

(3)清空所有策略、关闭swap交换分区

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

swapoff -a

sed -ri 's/.*swap.*/#&/' /etc/fstab

(4)调整内核参数

sysctl --system

【master】

(5)从 master01 节点上拷贝证书文件、各master组件的配置文件和服务管理文件到 master02 节点

scp -r /opt/etcd/ root@20.0.0.27:/opt/

scp -r /opt/kubernetes/ root@20.0.0.27:/opt

scp -r /root/.kube root@20.0.0.27:/root

scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@20.0.0.27:/usr/lib/systemd/system/

修改配置文件kube-apiserver中的IP

vim /opt/kubernetes/cfg/kube-apiserver

KUBE_APISERVER_OPTS="--logtostderr=true \

--v=4 \

--etcd-servers=https://20.0.0.17:2379,https://20.0.0.37:2379,https://20.0.0.47:2379 \

--bind-address=20.0.0.27?\ #修改

--secure-port=6443 \

--advertise-address=20.0.0.27?\ #修改

(6)在 slave节点上启动各服务并设置开机自启

systemctl start kube-apiserver.service

systemctl enable kube-apiserver.service

systemctl start kube-controller-manager.service

systemctl enable kube-controller-manager.service

systemctl start kube-scheduler.service

systemctl enable kube-scheduler.service

(7)查看node节点状态

ln -s /opt/kubernetes/bin/* /usr/local/bin/

kubectl get nodes

kubectl get nodes -o wide #-o=wide:输出额外信息;对于Pod,将输出Pod所在的Node名

此时在slave节点查到的node节点状态仅是从etcd查询到的信息,

而此时node节点实际上并未与master02节点建立通信连接,因此需要使用一个VIP把node节点与master节点都关联起来

11、负载均衡部署

【所有nginx节点】

不能用epel源下载nginx,用官方源或者编译安装1.22.0下载,支持四层代理

【nginx1】

(1)配置nginx的官方在线yum源,配置本地nginx的yum源

cat > /etc/yum.repos.d/nginx.repo << 'EOF'

[nginx]

name=nginx repo

baseurl=http://nginx.org/packages/centos/7/$basearch/

gpgcheck=0

EOF

yum install nginx -y

(2)修改nginx配置文件,配置四层反向代理负载均衡,指定k8s群集2台master的节点ip和6443端口

vim /etc/nginx/nginx.conf

events {

????worker_connections ?1024;

}

#添加

stream {

????log_format ?main ?'$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';

#日志记录格式

#$remote_addr: 客户端的 IP 地址。

#$upstream_addr: 上游服务器的地址。

#[$time_local]: 访问时间,使用本地时间。

#$status: HTTP 响应状态码。

#$upstream_bytes_sent: 从上游服务器发送到客户端的字节数。

????

access_log ?/var/log/nginx/k8s-access.log ?main;

????upstream k8s-apiserver {

????????server 192.168.233.91:6443;

????????server 192.168.233.92:6443;

????}

????server {

????????listen 6443;

????????proxy_pass k8s-apiserver;

????}

}

http {

......

(3)检查配置文件语法

nginx -t

(4)启动nginx服务,查看已监听6443端口

systemctl start nginx

systemctl enable nginx

netstat -natp | grep nginx

【nginx2】

(5)配置nginx的官方在线yum源,配置本地nginx的yum源

cat > /etc/yum.repos.d/nginx.repo << 'EOF'

[nginx]

name=nginx repo

baseurl=http://nginx.org/packages/centos/7/$basearch/

gpgcheck=0

EOF

yum install nginx -y

(6)修改nginx配置文件,配置四层反向代理负载均衡,指定k8s群集2台master的节点ip和6443端口

vim /etc/nginx/nginx.conf

events {

????worker_connections ?1024;

}

#添加

stream {

????log_format ?main ?'$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';

#日志记录格式

#$remote_addr: 客户端的 IP 地址。

#$upstream_addr: 上游服务器的地址。

#[$time_local]: 访问时间,使用本地时间。

#$status: HTTP 响应状态码。

#$upstream_bytes_sent: 从上游服务器发送到客户端的字节数。

????

access_log ?/var/log/nginx/k8s-access.log ?main;

????upstream k8s-apiserver {

????????server 192.168.233.91:6443;

????????server 192.168.233.92:6443;

????}

????server {

????????listen 6443;

????????proxy_pass k8s-apiserver;

????}

}

http {

......

(7)检查配置文件语法

nginx -t ?

(8)启动nginx服务,查看已监听6443端口

systemctl start nginx

systemctl enable nginx

netstat -natp | grep nginx

12、部署keepalived服务

【所有nginx节点】

yum install keepalived -y

(1)修改keepalived配置文件

vim /etc/keepalived/keepalived.conf

(2)创建nginx状态检查脚本

【nginx1】

vim /etc/nginx/check_nginx.sh

#!/bin/bash ???????????????????????????????????????????????????????

/usr/bin/curl -I http://localhost &>/dev/null ???

if [ $? -ne 0 ];then ???????????????????????????????????????????

# ???/etc/init.d/keepalived stop

????systemctl stop keepalived

fi

chmod +x /etc/nginx/check_nginx.sh

(3)启动keepalived服务(一定要先启动了nginx服务,再启动keepalived服务)

systemctl start keepalived

systemctl enable keepalived

ip a #查看VIP是否生成

关闭nginx、keepalived测试vip地址是否能漂移到备服务器

停止主服务器的nginx

查看vip地址是否漂移到备服务器上

ip addr

结论:keepalived高可用正常

【所有node节点】

(4)修改node节点上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件为VIP

cd /opt/kubernetes/cfg/

vim bootstrap.kubeconfig

server: https://20.0.0.100:6443

??????????????????????

vim kubelet.kubeconfig

server: https://20.0.0.100:6443

????????????????????????

vim kube-proxy.kubeconfig

server: https://20.0.0.100:6443

【node1】

【node2】

(5)重启kubelet和kube-proxy服务

systemctl restart kubelet.service

systemctl restart kube-proxy.service

(6)在主服务器?nginx1上查看 nginx 和 node 、 master 节点的连接状态

netstat -natp | grep nginx

搭建完成

13、部署 Dashboard

【master】

Dashboard仪表盘,k8s的可视化界面,在这个可视化界面,可以对k8s进行可视化管理

(1)上传 recommended.yaml 文件到 /opt/k8s 目录中

cd /opt/k8s

vim recommended.yaml

kubectl apply -f recommended.yaml

(2)创建service account并绑定默认cluster-admin管理员集群角色

kubectl create serviceaccount dashboard-admin -n kube-system

kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

(3)获取token值

kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

(4)使用输出的token登录Dashboard【node节点访问火狐浏览器,谷歌】

https://20.0.0.37:30001

集群中的node节点出现故障,怎么解决?

kubectl get cs

查看etcd集群成员列表

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://20.0.0.17:2379,https://20.0.0.37:2379,https://20.0.0.47:2379" --write-out=table member list

检查etcd群集状态

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://20.0.0.17:2379,https://20.0.0.37:2379,https://20.0.0.47:2379" endpoint health --write-out=table

将有故障的etcd节点remove出集群

/opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://20.0.0.17:2379,https://20.0.0.37:2379,https://20.0.0.47:2379" member remove?故障节点的id

来到故障节点

rm -rf /var/lib/etcd/default.etcd/member/

修改etcd配置文件,将下面new修改为:

vim /opt/etcd/cfg/etcd

修改前:

ETCD_INITIAL_CLUSTER_STATE="new"

修改后:

ETCD_INITIAL_CLUSTER_STATE="existing"

重新加入etcd集群

/opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://20.0.0.17:2379,https://20.0.0.37:2379,https://20.0.0.47:2379" member add etcd03?--peer-urls=https://20.0.0.47:2380

重启etcd故障节点

在master节点查看

文章来源:https://blog.csdn.net/2303_79207100/article/details/135225005
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。