Kubernetes群集部署

一、理论概述
Kubernetes 是什么？
Kubernetes 是一个可移植、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态，其服务、支持和工具的使用范围相当广泛。
Kubernetes 这个名字源于希腊语，意为“舵手”或“飞行员”。k8s 这个缩写是因为 k 和 s 之间有八个字符的关系。 Google 在 2014 年开源了 Kubernetes 项目。 Kubernetes 建立在Google 大规模运行生产工作负载十几年经验的基础上， 结合了社区中最优秀的想法和实践。
时光回溯
让我们回顾一下为何 Kubernetes 能够裨益四方。

传统部署时代：
早期，各机构是在物理服务器上运行应用程序。 由于无法限制在物理服务器中运行的应用程序资源使用，因此会导致资源分配问题。 例如，如果在物理服务器上运行多个应用程序， 则可能会出现一个应用程序占用大部分资源的情况，而导致其他应用程序的性能下降。 一种解决方案是将每个应用程序都运行在不同的物理服务器上， 但是当某个应用程式资源利用率不高时，剩余资源无法被分配给其他应用程式， 而且维护许多物理服务器的成本很高。
虚拟化部署时代：
因此，虚拟化技术被引入了。虚拟化技术允许你在单个物理服务器的 CPU 上运行多台虚拟机（VM）。 虚拟化能使应用程序在不同 VM 之间被彼此隔离，且能提供一定程度的安全性， 因为一个应用程序的信息不能被另一应用程序随意访问。
虚拟化技术能够更好地利用物理服务器的资源，并且因为可轻松地添加或更新应用程序， 而因此可以具有更高的可伸缩性，以及降低硬件成本等等的好处。
每个 VM 是一台完整的计算机，在虚拟化硬件之上运行所有组件，包括其自己的操作系统（OS）。
容器部署时代：
容器类似于 VM，但是更宽松的隔离特性，使容器之间可以共享操作系统（OS）。 因此，容器比起 VM 被认为是更轻量级的。且与 VM 类似，每个容器都具有自己的文件系统、CPU、内存、进程空间等。 由于它们与基础架构分离，因此可以跨云和 OS 发行版本进行移植。
容器因具有许多优势而变得流行起来。下面列出的是容器的一些好处：

• 敏捷应用程序的创建和部署：与使用 VM 镜像相比，提高了容器镜像创建的简便性和效率。
• 持续开发、集成和部署：通过快速简单的回滚（由于镜像不可变性）， 提供可靠且频繁的容器镜像构建和部署。
• 关注开发与运维的分离：在构建、发布时创建应用程序容器镜像，而不是在部署时， 从而将应用程序与基础架构分离。
• 可观察性：不仅可以显示 OS 级别的信息和指标，还可以显示应用程序的运行状况和其他指标信号。
• 跨开发、测试和生产的环境一致性：在笔记本计算机上也可以和在云中运行一样的应用程序。
• 跨云和操作系统发行版本的可移植性：可在 Ubuntu、RHEL、CoreOS、本地、 Google Kubernetes Engine 和其他任何地方运行。
• 以应用程序为中心的管理：提高抽象级别，从在虚拟硬件上运行 OS 到使用逻辑资源在 OS 上运行应用程序。
• 松散耦合、分布式、弹性、解放的微服务：应用程序被分解成较小的独立部分， 并且可以动态部署和管理 - 而不是在一台大型单机上整体运行。
• 资源隔离：可预测的应用程序性能。
• 资源利用：高效率和高密度。
  为什么需要 Kubernetes，它能做什么？
  容器是打包和运行应用程序的好方式。在生产环境中， 你需要管理运行着应用程序的容器，并确保服务不会下线。 例如，如果一个容器发生故障，则你需要启动另一个容器。 如果此行为交由给系统处理，是不是会更容易一些？
  这就是 Kubernetes 要来做的事情！ Kubernetes 为你提供了一个可弹性运行分布式系统的框架。 Kubernetes 会满足你的扩展要求、故障转移、部署模式等。 例如，Kubernetes 可以轻松管理系统的 Canary 部署。
  Kubernetes 为你提供：
• 服务发现和负载均衡
  Kubernetes 可以使用 DNS 名称或自己的 IP 地址来曝露容器。 如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。
• 存储编排
  Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。
• 自动部署和回滚
  你可以使用 Kubernetes 描述已部署容器的所需状态， 它可以以受控的速率将实际状态更改为期望状态。 例如，你可以自动化 Kubernetes 来为你的部署创建新容器， 删除现有容器并将它们的所有资源用于新容器。
• 自动完成装箱计算
  Kubernetes 允许你指定每个容器所需 CPU 和内存（RAM）。 当容器指定了资源请求时，Kubernetes 可以做出更好的决策来为容器分配资源。
• 自我修复
  Kubernetes 将重新启动失败的容器、替换容器、杀死不响应用户定义的运行状况检查的容器， 并且在准备好服务之前不将其通告给客户端。
• 密钥与配置管理
  Kubernetes 允许你存储和管理敏感信息，例如密码、OAuth 令牌和 ssh 密钥。 你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置，也无需在堆栈配置中暴露密钥。
  Kubernetes 不是什么
  Kubernetes 不是传统的、包罗万象的 PaaS（平台即服务）系统。 由于 Kubernetes 是在容器级别运行，而非在硬件级别， 它提供了 PaaS 产品共有的一些普遍适用的功能， 例如部署、扩展、负载均衡、日志记录和监视。 但是，Kubernetes 不是单体式（monolithic）系统，那些默认解决方案都是可选、可插拔的。 Kubernetes 为构建开发人员平台提供了基础，但是在重要的地方保留了用户选择权，能有更高的灵活性。
  Kubernetes：
• 不限制支持的应用程序类型。 Kubernetes 旨在支持极其多种多样的工作负载，包括无状态、有状态和数据处理工作负载。 如果应用程序可以在容器中运行，那么它应该可以在 Kubernetes 上很好地运行。
• 不部署源代码，也不构建你的应用程序。 持续集成（CI）、交付和部署（CI/CD）工作流取决于组织的文化和偏好以及技术要求。
• 不提供应用程序级别的服务作为内置服务，例如中间件（例如消息中间件）、 数据处理框架（例如 Spark）、数据库（例如 MySQL）、缓存、集群存储系统 （例如 Ceph）。这样的组件可以在 Kubernetes 上运行，并且/或者可以由运行在 Kubernetes 上的应用程序通过可移植机制 （例如开放服务代理）来访问。
• 不是日志记录、监视或警报的解决方案。 它集成了一些功能作为概念证明，并提供了收集和导出指标的机制。
• 不提供也不要求配置用的语言、系统（例如 jsonnet），它提供了声明性 API， 该声明性 API 可以由任意形式的声明性规范所构成。
• 不提供也不采用任何全面的机器配置、维护、管理或自我修复系统。
• 此外，Kubernetes 不仅仅是一个编排系统，实际上它消除了编排的需要。 编排的技术定义是执行已定义的工作流程：首先执行 A，然后执行 B，再执行 C。 而 Kubernetes 包含了一组独立可组合的控制过程， 可以连续地将当前状态驱动到所提供的预期状态。 你不需要在乎如何从 A 移动到 C，也不需要集中控制，这使得系统更易于使用 且功能更强大、系统更健壮，更为弹性和可扩展。
  Kubernetes 组件
  一个 Kubernetes 集群是由一组被称作节点（node）的机器组成， 这些节点上会运行由 Kubernetes 所管理的容器化应用。 且每个集群至少有一个工作节点。
  工作节点会托管所谓的 Pods，而 Pod 就是作为应用负载的组件。 控制平面管理集群中的工作节点和 Pods。 为集群提供故障转移和高可用性， 这些控制平面一般跨多主机运行，而集群也会跨多个节点运行。
  本文档概述了一个正常运行的 Kubernetes 集群所需的各种组件。
  Kubernetes 集群的组件

控制平面组件（Control Plane Components）
控制平面组件会为集群做出全局决策，比如资源的调度。 以及检测和响应集群事件，例如当不满足部署的 replicas 字段时， 要启动新的 pod）。
控制平面组件可以在集群中的任何节点上运行。 然而，为了简单起见，设置脚本通常会在同一个计算机上启动所有控制平面组件， 并且不会在此计算机上运行用户容器。 请参阅使用 kubeadm 构建高可用性集群 中关于跨多机器控制平面设置的示例。
kube-apiserver
API 服务器是 Kubernetes 控制平面的组件， 该组件负责公开了 Kubernetes API，负责处理接受请求的工作。 API 服务器是 Kubernetes 控制平面的前端。
Kubernetes API 服务器的主要实现是 kube-apiserver。 kube-apiserver 设计上考虑了水平扩缩，也就是说，它可通过部署多个实例来进行扩缩。 你可以运行 kube-apiserver 的多个实例，并在这些实例之间平衡流量。
etcd
etcd 是兼顾一致性与高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。
你的 Kubernetes 集群的 etcd 数据库通常需要有个备份计划。
如果想要更深入的了解 etcd，请参考 etcd 文档。
kube-scheduler
kube-scheduler 是控制平面的组件， 负责监视新创建的、未指定运行节点（node）的 Pods， 并选择节点来让 Pod 在上面运行。
调度决策考虑的因素包括单个 Pod 及 Pods 集合的资源需求、软硬件及策略约束、 亲和性及反亲和性规范、数据位置、工作负载间的干扰及最后时限。
kube-controller-manager
kube-controller-manager 是控制平面的组件， 负责运行控制器进程。
从逻辑上讲， 每个控制器都是一个单独的进程， 但是为了降低复杂性，它们都被编译到同一个可执行文件，并在同一个进程中运行。
这些控制器包括：

• 节点控制器（Node Controller）：负责在节点出现故障时进行通知和响应
• 任务控制器（Job Controller）：监测代表一次性任务的 Job 对象，然后创建 Pods 来运行这些任务直至完成
• 端点控制器（Endpoints Controller）：填充端点（Endpoints）对象（即加入 Service 与 Pod）
• 服务帐户和令牌控制器（Service Account & Token Controllers）：为新的命名空间创建默认帐户和 API 访问令牌
  cloud-controller-manager
  cloud-controller-manager 是指嵌入特定云的控制逻辑之 控制平面组件。
  cloud-controller-manager 允许你将你的集群连接到云提供商的 API 之上， 并将与该云平台交互的组件同与你的集群交互的组件分离开来。
  cloud-controller-manager 仅运行特定于云平台的控制器。 因此如果你在自己的环境中运行 Kubernetes，或者在本地计算机中运行学习环境， 所部署的集群不需要有云控制器管理器。
  与 kube-controller-manager 类似，cloud-controller-manager 将若干逻辑上独立的控制回路组合到同一个可执行文件中， 供你以同一进程的方式运行。 你可以对其执行水平扩容（运行不止一个副本）以提升性能或者增强容错能力。
  下面的控制器都包含对云平台驱动的依赖：
• 节点控制器（Node Controller）：用于在节点终止响应后检查云提供商以确定节点是否已被删除
• 路由控制器（Route Controller）：用于在底层云基础架构中设置路由
• 服务控制器（Service Controller）：用于创建、更新和删除云提供商负载均衡器
  Node 组件
  节点组件会在每个节点上运行，负责维护运行的 Pod 并提供 Kubernetes 运行环境。
  kubelet
  kubelet 会在集群中每个节点（node）上运行。 它保证容器（containers）都运行在 Pod 中。
  kubelet 接收一组通过各类机制提供给它的 PodSpecs， 确保这些 PodSpecs 中描述的容器处于运行状态且健康。 kubelet 不会管理不是由 Kubernetes 创建的容器。
  kube-proxy
  kube-proxy 是集群中每个节点（node）所上运行的网络代理， 实现 Kubernetes 服务（Service） 概念的一部分。
  kube-proxy 维护节点上的一些网络规则， 这些网络规则会允许从集群内部或外部的网络会话与 Pod 进行网络通信。
  如果操作系统提供了可用的数据包过滤层，则 kube-proxy 会通过它来实现网络规则。 否则，kube-proxy 仅做流量转发。
  容器运行时（Container Runtime）
  容器运行环境是负责运行容器的软件。
  Kubernetes 支持许多容器运行环境，例如 Docker、 containerd、 CRI-O 以及 Kubernetes CRI (容器运行环境接口) 的其他任何实现。
  插件（Addons）
  插件使用 Kubernetes 资源（DaemonSet、 Deployment 等）实现集群功能。 因为这些插件提供集群级别的功能，插件中命名空间域的资源属于 kube-system 命名空间。
  下面描述众多插件中的几种。有关可用插件的完整列表，请参见 插件（Addons）。
  DNS
  尽管其他插件都并非严格意义上的必需组件，但几乎所有 Kubernetes 集群都应该 有集群 DNS， 因为很多示例都需要 DNS 服务。
  集群 DNS 是一个 DNS 服务器，和环境中的其他 DNS 服务器一起工作，它为 Kubernetes 服务提供 DNS 记录。
  Kubernetes 启动的容器自动将此 DNS 服务器包含在其 DNS 搜索列表中。
  Web 界面（仪表盘）
  Dashboard 是 Kubernetes 集群的通用的、基于 Web 的用户界面。 它使用户可以管理集群中运行的应用程序以及集群本身， 并进行故障排除。
  容器资源监控
  容器资源监控 将关于容器的一些常见的时间序列度量值保存到一个集中的数据库中， 并提供浏览这些数据的界面。
  集群层面日志
  集群层面日志 机制负责将容器的日志数据保存到一个集中的日志存储中， 这种集中日志存储提供搜索和浏览接口。
  一、基础环境准备：
  1.关闭防火墙与selinux
  systemctl stop firewalld
  && systemctl disable firewalld
  sed -i ‘s/enforcing/disabled/’ /etc/selinux/config
  && setenforce 0
  2.添加host记录
  cat >>/etc/hosts <<EOF
  192.168.180.190 k8s-master
  192.168.180.180 k8s-node1
  192.168.180.170 k8s-node2
  EOF
  3.修改主机名
  hostnamectl set-hostname k8s-master && bash
  hostnamectl set-hostname k8s-node1 && bash
  hostnamectl set-hostname k8s-node2 && bash

4.关闭交换分区
swapoff -a
&& sed -ri ‘s/.swap./#&/’ /etc/fstab

##低版本内核可能不稳定所以先更新内核[三台cnetos]
1.安装epel源
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum -y update
2.查看内核版本并安装最新内核版本
yum --disablerepo="" --enablerepo=“elrepo-kernel” list available
3.安装最新it内核
yum --disablerepo='’ --enablerepo=elrepo-kernel install kernel-lt -y
4.指定新安装的内核版本为默认启动内核
grub2-set-default 0
5.卸载旧版内核并重启机器
yum remove kernel -y //可选
reboot

6.加载模块并添加v4流量传递
modprobe br_netfilter
cat > /etc/sysctl.d/k8s.conf << EOF
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl -p /etc/sysctl.d/k8s.conf

7.安装ipvs
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe – ip_vs
modprobe – ip_vs_rr
modprobe – ip_vs_wrr
modprobe – ip_vs_sh

EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
lsmod | grep -e ip_vs -e nf_conntrack

二、部署Docker环境(三台主机)
cat << EOF > /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

modprobe overlay
modprobe br_netfilter
wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum list | grep containerd
yum install -y containerd.io docker-ce docker-ce-cli
mkdir /etc/containerd -p
containerd config default > /etc/containerd/config.toml
vim /etc/containerd/config.toml
SystemdCgroup = false 改为 SystemdCgroup = true

sandbox_image = “k8s.gcr.io/pause:3.6”

改为：
sandbox_image = “registry.aliyuncs.com/google_containers/pause:3.6”

systemctl enable containerd && systemctl start containerd

ctr version
runc -version
三、部署Kubernetns集群（三台主机）
YUM源
cat <> /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装kubelet、kubeadm和kubectl
yum install -y --nogpgcheck kubelet kubeadm kubectl
systemctl enable kubelet
生成初始化配置文件（master）
kubeadm config print init-defaults > init-config.yaml
常用功能：
? kubeadm config view： 查看当前集群中的配置值。
? kubeadm config print join-defaults： 输出 kubeadm join 默认参数文件的内容。
? kubeadm config images list： 列出所需的镜像列表。
? kubeadm config images pull： 拉取镜像到本地。
? kubeadm config upload from-flags： 由配置参数生成 ConfigMap。
修改配置文件
vim init-config.yaml
advertiseAddress: 192.168.180.190
name: k8s-master
dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
podSubnet: 10.244.0.0/16
拉取所需镜像
kubeadm config images list --config init-config.yaml
列出所需的镜像列表
registry.aliyuncs.com/google_containers/kube-apiserver:v1.22.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.22.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.22.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.22.0
registry.aliyuncs.com/google_containers/pause:3.5
registry.aliyuncs.com/google_containers/etcd:3.5.0-0
registry.aliyuncs.com/google_containers/coredns:v1.8.4
kubeadm config images pull --config=init-config.yaml
这里可能会报错
failed to pull image “registry.aliyuncs.com/google_containers/coredns:v1.8.4”: output: Error response from daemon: manifest for registry.aliyuncs.com/google_containers/coredns:v1.8.4 not found: manifest unknown: manifest unknown
解决方法：
docker pull registry.aliyuncs.com/google_containers/coredns:1.8.4
docker tag registry.aliyuncs.com/google_containers/coredns:1.8.4 registry.aliyuncs.com/google_containers/coredns:v1.8.4

解决方法：
rm -rf /etc/containerd/config.toml && systemctl restart containerd

初始化k8s-master
kubeadm init --config=init-config.yaml
根据提示复制配置文件到用户的home目录，并将node节点加入集群
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id?u):$(id -g) $HOME/.kube/config
在k8s-master查看节点
kubectl get nodes

部署calico网络[master]
wget https://docs.projectcalico.org/v3.18/manifests/calico.yaml
vim calico.yaml //3673行修改为如下

• name: CALICO_IPV4POOL_CIDR
  value: “10.244.0.0/16”
  kubectl apply -f calico.yaml
  kubectl describe node master
  kubectl taint nodes --all node-role.kubernetes.io/control-plane:NoSchedule-
  kubectl get pod -n kube-system
  kubectl get node
  journalctl -f -u kubelet //查看日志

安装flannel网络（MASTER）
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
如无法下载，提供的yml文件
sed -i ‘s@quay.io@quay-mirror.qiniu.com@g’ kube-flannel.yml
运行开启flannel网络Pod
kubectl apply -f kube-flannel.yml
kubectl get nodes -o wide
tail -f /var/log/message
docker ps -a

二进制安装：
基本环境准备：
主机名、hosts文件、添加DNS
安装Docker(三台主机)
yum -y install iptable* wget telnet lsof vim rsync lrzsz net-tools unzip
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum -y install docker-ce
mkdir /etc/docker/
cat << EOF > /etc/docker/daemon.json
{
“registry-mirrors”:[“https://registry.docker-cn.com”]
}
EOF
systemctl enable docker
systemctl start docker
设置防火墙（三台主机）
systemctl stop firewalld
systemctl disable firewalld
systemctl start iptables
iptables -F
iptables -I INPUT -s 192.168.0.0/16 -j ACCEPT
禁用selinux
生成通信加密证书（master）
生成CA证书
mkdir -p /root/software/ssl
cd /root/software/ssl/
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x *
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo
拷贝证书生成脚本
cat > ca-config.json <<EOF
{
“signing”: {
“default”: {
“expiry”: “87600h”
},
“profiles”: {
“kubernetes”: {
“expiry”: “87600h”,
“usages”: [
“signing”,
“key encipherment”,
“server auth”,
“client auth”
]
}
}
}
}
EOF
cat > ca-csr.json <<EOF
{
“CN”: “kubernetes”,
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “Beijing”,
“ST”: “Beijing”,
“O”: “k8s”,
“OU”: “System”
}
]
}
EOF
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
cat << EOF >server-csr.json
{
“CN”: “kubernetes”,
“hosts”: [
“127.0.0.1”,
“192.168.107.201”,
“192.168.107.202”,
“192.168.107.203”,
“10.10.10.1”,
“kubernetes”,
“kubernetes.default”,
“kubernetes.default.svc”,
“kubernetes.default.svc.cluster”,
“kubernetes.default.svc.cluster.local”
],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “k8s”,
“OU”: “System”
}
]
}
EOF
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server
cat > admin-csr.json <<EOF
{
“CN”: “admin”,
“hosts”: [],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “system:masters”,
“OU”: “System”
}
]
}
EOF
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
cat > kube-proxy-csr.json <<EOF
{
“CN”: “system:kube-proxy”,
“hosts”: [],
“key”: {
“algo”: “rsa”,
“size”: 2048
},
“names”: [
{
“C”: “CN”,
“L”: “BeiJing”,
“ST”: “BeiJing”,
“O”: “k8s”,
“OU”: “System”
}
]
}
EOF
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy
ls | grep -v pem | xargs -i rm {}
部署ETCD集群
mkdir /opt/kubernetes
mkdir /opt/kubernetes/{bin,cfg,ssl}
tar zxf etcd-v3.3.18-linux-amd64.tar.gz
cd etcd-v3.3.18-linux-amd64/
mv etcd /opt/kubernetes/bin/
mv etcdctl /opt/kubernetes/bin/
在k8s-master部署ETCD节点
vim /opt/kubernetes/cfg/etcd
#[Member]
ETCD_NAME=“etcd01”
ETCD_DATA_DIR=“/var/lib/etcd/default.etcd”
ETCD_LISTEN_PEER_URLS=“https://192.168.107.201:2380”
ETCD_LISTEN_CLIENT_URLS=“https://192.168.107.201:2379”
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS=“https://192.168.107.201:2380”
ETCD_ADVERTISE_CLIENT_URLS=“https://192.168.107.201:2379”
ETCD_INITIAL_CLUSTER=“etcd01=https://192.168.107.201:2380,etcd02=https://192.168.107.202:2380,etcd03=https://192.168.107.203:2380”
ETCD_INITIAL_CLUSTER_TOKEN=“etcd-cluster”
ETCD_INITIAL_CLUSTER_STATE=“new”
vim /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=-/opt/kubernetes/cfg/etcd
ExecStart=/opt/kubernetes/bin/etcd
–name=$ETC{D}_{N}AME??data?dir=${ETCD_DATA_DIR}
–listen-peer-urls=$ETC{D}_{L}ISTE{N}_{P}EE{R}_{U}RLS??listen?client?urls=${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379
–advertise-client-urls=$ETC{D}_{A}DVERTIS{E}_{C}LIEN{T}_{U}RLS??initial?advertise?peer?urls=${ETCD_INITIAL_ADVERTISE_PEER_URLS}
–initial-cluster=$ETC{D}_{I}NITIA{L}_{C}LUSTER??initial?cluster?token=${ETCD_INITIAL_CLUSTER}
–initial-cluster-state=new
–cert-file=/opt/kubernetes/ssl/server.pem
–key-file=/opt/kubernetes/ssl/server-key.pem
–peer-cert-file=/opt/kubernetes/ssl/server.pem
–peer-key-file=/opt/kubernetes/ssl/server-key.pem
–trusted-ca-file=/opt/kubernetes/ssl/ca.pem
–peer-trusted-ca-file=/opt/kubernetes/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
cd /root/software
cp ssl/serverpem ssl/ca.pem /opt/kubernetes/ssl/
systemctl start etcd
systemctl enable etcd
ps -ef | grep etcd
在 k8s-node1、 k8s-node2 主机上部署 Etcd 节点
rsync -avcz /opt/kubernetes/* 192.168.107.202:/opt/kubernetes/
vim /opt/kubernetes/cfg/etcd
rsync -avcz /opt/kubernetes/* 192.168.107.203:/opt/kubernetes/
vim /opt/kubernetes/cfg/etcd
scp /usr/lib/systemd/system/etcd.service 192.168.107.202:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service 192.168.107.203:/usr/lib/systemd/system/
systemctl start etcd
systemctl enable etcd
echo “export PATH=$PATH:/opt/kubernetes/bin” >> /etc/profile
source /etc/profile
查看Etcd集群部署状况
cd /root/software/ssl/
etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints=“https://192.168.107.201:2379,https://192.168.107.202:2379,https://192.168.107.203:2379” cluster-health
部署Flannel网络
解压Flanneld
tar zxf flannel-v0.12.0-linux-amd64.tar.gz
复制到其他节点
cp flanneld mk-docker-opts.sh /opt/kubernetes/bin
scp flanneld mk-docker-opts.sh 192.168.107.202:/opt/kubernetes/bin
scp flanneld mk-docker-opts.sh 192.168.107.203:/opt/kubernetes/bin
设置flanneld配置文件
vim /opt/kubernetes/cfg/flanneld
FLANNEL_OPTIONS=“–etcd-endpoints=https://192.168.107.201:2379,https://192.168.107.202:2379,https://192.168.107.203:2379 -etcd-cafile=/opt/kubernetes/ssl/ca.pem -etcd-certfile=/opt/kubernetes/ssl/server.pem -etcd-keyfile=/opt/kubernetes/ssl/server-key.pem”
设置服务启动文件
cat </usr/lib/systemd/system/flanneld.service
[Unit]
Description=Flanneld overlay address etcd agent
After=network-online.target network.target
Before=docker.service
[Service]
Type=notify
EnvironmentFile=/opt/kubernetes/cfg/flanneld
ExecStart=/opt/kubernetes/bin/flanneld --ip-masq $FLANNEL_OPTIONS
ExecStartPost=/opt/kubernetes/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/subnet.env
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF
设置Docker启动文件
vim /usr/lib/systemd/system/docker.service
EnvironmentFile=/run/flannel/subnet.env
//新添加[Service]块内， 目的是让 Docker 网桥分发的 ip 地址与 flanned 网桥在同一个网段
ExecStart=/usr/bin/dockerd $DOCKE{R}_{N}ETWOR{K}_{O}PTIONS//添加$ DOCKER_NETWORK_OPTIONS 变量， 替换原来的 ExecStart， 目的是调用 Flannel 网桥 IP地址
scp /opt/kubernetes/cfg/flanneld root@192.168.107.202:/opt/kubernetes/cfg/flanneld
scp /opt/kubernetes/cfg/flanneld root@192.168.107.203:/opt/kubernetes/cfg/flanneld
scp /usr/lib/systemd/system/flanneld.service root@192.168.107.202:/usr/lib/systemd/system/flanneld.service
scp /usr/lib/systemd/system/flanneld.service root@192.168.107.203:/usr/lib/systemd/system/flanneld.service
scp /usr/lib/systemd/system/docker.service root@192.168.107.202:/usr/lib/systemd/system/docker.service
scp /usr/lib/systemd/system/docker.service root@192.168.107.203:/usr/lib/systemd/system/docker.service
三台服务器修改好后，在其中master运行即可
分配子网段到ETCD
cd /root/software/ssl/
etcdctl -ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints=“https://192.168.107.201:2379,https://192.168.107.202:2379,https://192.168.107.203:2379” set /coreos.com/network/config ‘{“Network”:“172.17.0.0/16”,“Backend”:{“Type”:“vxlan”} }’
systemctl start flanneld
systemctl enable flanneld
systemctl daemon-reload
systemctl restart docker
部署Kubernetes-master组件
添加kubectl命令环境
tar zxf kubernetes-server-linux-amd64.tar.gz
cd 解压目录下/kubernetes/server/bin
cp kubectl /opt/kubernetes/bin/
创建TLS Bootstrapping Token
cd /opt/kubernetes/
export BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ’ ')
cat > token.csv <<EOF
$BOOTSTRA{P}_{T}OKEN,kubelet?bootstrap,10001,"system:kubelet?bootstrap"EOF创建KubeletkubeconfigexportKUB{E}_{A}PISERVER="https://192.168.107.201:6443"设置集群参数cd/root/software/ssl/kubectlconfigset?clusterkubernetes??certificate?authority=./ca.pem??embed?certs=true??server=${KUBE_APISERVER}
–kubeconfig=bootstrap.kubeconfig
设置客户端认证参数
kubectl config set-credentials kubelet-bootstrap --token=$BOOTSTRA{P}_{T}OKEN??kubeconfig=bootstrap.kubeconfig设置上下文参数kubectlconfigset?contextdefault??cluster=kubernetes??user=kubelet?bootstrap??kubeconfig=bootstrap.kubeconfig设置默认上下文kubectlconfiguse?contextdefault??kubeconfig=bootstrap.kubeconfig创建kuby?proxykubeconfigkubectlconfigset?clusterkubernetes??certificate?authority=./ca.pem??embed?certs=true??server=${KUBE_APISERVER} --kubeconfig=kube-proxy.kubeconfig
kubectl config set-credentials kube-proxy --client-certificate=./kube-proxy.pem --client-key=./kube-proxy-key.pem --embed-certs=true --kubeconfig=kube-proxy.kubeconfig
kubectl config set-context default --cluster=kubernetes --user=kube-proxy --kubeconfig=kube-proxy.kubeconfig
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig
设置Kube-apiserver
cd 解压目录/kubernetes/server/bin
cp kube-controller-manager kube-scheduler kube-apiserver /opt/kubernetes/bin/
cp /opt/kubernetes/token.csv /opt/kubernetes/cfg/
cd /opt/kubernetes/bin
上传master.zip
unzip master.zip
chmod +x *.sh
./apiserver.sh 192.168.107.201 https://192.168.107.201:2379,https://192.168.107.202:2379,https://192.168.107.203:2379
部署Kube-controller-manager
sh controller-manager.sh 127.0.0.1
部署kube-scheduler
sh scheduler.sh 127.0.0.1
检测组件运行是否正常
kubectl get cs
部署Kubernetes-node组件
在master上执行
cd /root/software/ssl/
scp *kubeconfig 192.168.107.202:/opt/kubernetes/cfg/
scp *kubeconfig 192.168.107.203:/opt/kubernetes/cfg/
cd 解压目录/kubernetes/server/bin
scp kubelet kube-proxy 192.168.107.202:/opt/kubernetes/bin
scp kubelet kube-proxy 192.168.107.203:/opt/kubernetes/bin
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
kubectl describe clusterrolebinding
在node上执行
cd /opt/kubernetes/bin
上传node.zip
unzip node.zip
chmod +x *.sh
sh kubelet.sh 192.168.107.202 192.168.107.20
sh proxy.sh 192.168.107.202
验证：
ps -ef | grep kube
在另一个节点同样执行
cd /opt/kubernetes/bin
上传node.zip
unzip node.zip
chmod +x *.sh
sh kubelet.sh 192.168.107.203 192.168.107.20
sh proxy.sh 192.168.107.203
验证：
ps -ef | grep kube
查看自动签发证书，并允许加入集群
kubectl get csr
kubectl certificate approve node-csr-BU_2qfoTCf-wFBbat7moeiPTov0ynWYWA5L47y-LDoA
kubectl certificate approve node-csr-WRREeKeC_obWiz1mu4lxRWhfYQOiHDUb5Npc_vzRKqo
kubectl get nodes
额外：
kubctl api-versions
kubectl api-resources | grep deployment