Kubernetes 配置基本指南：关键集群设置

2023-12-18 15:45:41

在这篇博客中，我们将介绍每个?DevOps 工程师或 Kubernetes 管理员都应该了解的重要 Kubernetes 配置。

在本指南的最后，我添加了实际 Kubernetes 集群设置中涉及的配置。

注意：本指南中引用的所有配置位置都基于使用?kubeadm?的默认 Kubernetes 安装。

Kubernetes 集群配置

无论您是准备 Kubernetes 认证还是计划从事 Kubernetes 项目，了解?Kubernetes?集群的关键配置都非常重要。

此外，当涉及到?CKA 认证时，您将获得纠正集群中问题的方案。因此，了解集群配置将使您更容易以正确的方式对集群进行故障排除和查找问题。

让我们从与控制平面组件相关的配置开始。

静态 Pod 清单

正如我们在?Kubernetes 架构中所讨论的，所有控制平面组件都是由 kubelet 从目录中存在的静态 pod 清单启动的。Kubelet 管理从静态 Pod 清单创建的所有 Pod 的生命周期。/etc/kubernetes/manifests

以下组件是从静态 Pod 清单部署的。

etcd
API 服务器
Kube 控制器管理器
Kube 调度器。

manifests
  ├── etcd.yaml
  ├── kube-apiserver.yaml
  ├── kube-controller-manager.yaml
  └── kube-scheduler.yaml

您可以从这些容器清单中获取这些组件的所有配置位置。

API 服务器配置

如果您查看?kube-apiserver.yaml，在容器规范下，您可以看到指向 TLS 证书的所有参数以及 API 服务器工作和与其他集群组件通信所需的其他参数。

apiVersion: v1
kind: Pod
metadata:
  annotations:
    kubeadm.kubernetes.io/kube-apiserver.advertise-address.endpoint: 172.31.42.106:6443
  creationTimestamp: null
  labels:
    component: kube-apiserver
    tier: control-plane
  name: kube-apiserver
  namespace: kube-system
spec:
  containers:
  - command:
    - kube-apiserver
    - --advertise-address=172.31.42.106
    - --allow-privileged=true
    - --authorization-mode=Node,RBAC
    - --client-ca-file=/etc/kubernetes/pki/ca.crt
    - --enable-admission-plugins=NodeRestriction
    - --enable-bootstrap-token-auth=true
    - --etcd-cafile=/etc/kubernetes/pki/etcd/ca.crt
    - --etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt
    - --etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key
    - --etcd-servers=https://127.0.0.1:2379
    - --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt
    - --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key
    - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
    - --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt
    - --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key
    - --requestheader-allowed-names=front-proxy-client
    - --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt
    - --requestheader-extra-headers-prefix=X-Remote-Extra-
    - --requestheader-group-headers=X-Remote-Group
    - --requestheader-username-headers=X-Remote-User
    - --secure-port=6443
    - --service-account-issuer=https://kubernetes.default.svc.cluster.local
    - --service-account-key-file=/etc/kubernetes/pki/sa.pub
    - --service-account-signing-key-file=/etc/kubernetes/pki/sa.key
    - --service-cluster-ip-range=10.96.0.0/12
    - --tls-cert-file=/etc/kubernetes/pki/apiserver.crt
    - --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
    image: registry.k8s.io/kube-apiserver:v1.26.3

因此，如果要对集群组件配置进行故障排除或验证，首先应查看静态 Pod 清单配置。

etcd 配置

如果要与 etcd 组件交互，可以使用静态 pod YAML 中的详细信息。

例如，如果要备份 etcd，则需要知道 etcd 服务端点和相关证书，以便对 etcd 进行身份验证并创建备份。

如果打开?etcd.yaml?清单，可以查看所有与 etcd 相关的配置，如下所示。

?编辑

TLS 证书

在 Kubernetes 中，所有组件都通过 mTLS 相互通信。在 PKI 文件夹下，您将找到所有 TLS 证书和密钥。Kubernetes 控制平面组件使用这些证书进行身份验证并相互通信。

此外，还有一个 etcd 子目录，其中包含特定于 etcd 的证书和私钥。它们用于保护 etcd 节点之间以及 API 服务器和 etcd 节点之间的通信。

下图显示了 PKI 文件夹的文件结构。

?编辑

静态 Pod 清单引用此文件夹中所需的 TLS 证书和密钥。

当您使用 kubeadm 等工具在自托管集群上工作时，这些证书由该工具自动生成。在托管的 Kubernetes 集群中，云提供商负责管理控制平面组件，因此负责满足所有 TLS 要求。

但是，如果要设置用于生产的自承载群集，则必须向组织的网络或安全团队请求这些证书。他们将生成由组织的内部证书颁发机构签名的这些证书，并将其提供给您。

kubeconfig文件

任何需要向 API 服务器进行身份验证的组件都需要?kubeconfig 文件。

所有集群 Kubeconfig 文件都存在于?/etc/kubernetes 文件夹（.conf 文件）中。您将找到以下文件。

admin.conf
controller-manager.conf
kubelet.conf
scheduler.conf

它包含 API 服务器端点、集群 CA 证书、集群客户端证书和其他信息。

admin.conf?文件，这是最终用户用于访问 API 服务器以管理集群的管理 kubeconfig 文件。您可以使用此文件从远程工作站连接群集。

Controller 管理器、调度器和 Kubelet 的 Kubeconfig 用于 API 服务器身份验证和授权。

例如，如果检查 Controller Manager 静态 Pod 清单文件，则可以看到?controller-manager.conf?已添加为 authentication 和 authorization 参数。

?编辑

Kubelet 配置

Kubelet 服务作为系统服务在所有集群节点上运行。

您可以在 /etc/systemd/system/kubelet.service.d?下查看 kubelet systemd 服务

以下是系统文件内容。

[Service]
Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env
EnvironmentFile=-/etc/default/kubelet
ExecStart=
ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS

我用粗体突出显示了两个重要的 kubelet 配置。

kubelet kubeconfig 文件：/etc/kubernetes/kubelet.conf
kubelet 配置文件：/var/lib/kubelet/config.yaml
EnvironmentFile=-/var/lib/kubelet/kubeadm-flags.env

kubeconfig 文件将用于 API 服务器身份验证和授权。

/var/lib/kubelet/config.yaml?包含所有与 kubelet 相关的配置。静态 Pod 清单位置作为?staticPodPath?参数的一部分添加。

staticPodPath: /etc/kubernetes/manifests

/var/lib/kubelet/kubeadm-flags.env?文件包含容器运行时环境 Linux 套接字和基础结构容器（暂停容器）映像。

例如，下面是使用 CRI-O 容器运行时的 kubelet 配置，如 Unix 套接字和 pause 容器镜像所示。

KUBELET_KUBEADM_ARGS="--container-runtime-endpoint=unix:///var/run/crio/crio.sock --pod-infra-container-image=registry.k8s.io/pa

pause 容器是一个最小的容器，它是第一个在 Kubernetes Pod 中启动的容器。然后，pause 容器的作用是保存同一 Pod 中所有其他容器的网络命名空间和其他共享资源。

如果你看一下托管的 k8s 集群中的 kubelet 配置，它看起来与 kubeadm 设置略有不同。

例如，下面是?AWS EKS 集群的 kubelet 服务文件。

?编辑

这里可以看到容器运行时是 containerd，它的 Unix 套接字标志直接添加到服务文件中

与 kubeadm 配置相比，kubelet kubeconfig 文件位于不同的目录中。

CoreDNS配置

CoreDNS插件组件处理集群DNS配置。

所有 CoreDNS 配置都是 kubesystem 命名空间中名为 CoreDNS 的 configmap 的一部分。

如果在 kube-system 命名空间中列出 Configmap，则可以看到 CoreDNS?configmap。

kubectl get configmap --namespace=kube-system

?编辑

使用以下命令查看?CoreDNS?configmap 内容。

kubectl edit configmap coredns --namespace=kube-system

您将看到以下内容。

apiVersion: v1
data:
  Corefile: |
    .:53 {
        errors
        health {
           lameduck 5s
        }
        ready
        kubernetes cluster.local in-addr.arpa ip6.arpa {
           pods insecure
           fallthrough in-addr.arpa ip6.arpa
           ttl 30
        }
        prometheus :9153
        forward . /etc/resolv.conf {
           max_concurrent 1000
        }
        cache 30
        loop
        reload
        loadbalance
    }

当涉及到 DNS 连接时，应用程序可能需要注意到：

使用 Kubernetes 服务端点的内部服务。
使用公共 DNS 终结点的公开可用服务。
在混合云环境中，服务使用私有 DNS 端点托管在本地环境中。

如果您的用例需要自定义 DNS 服务器，例如，集群中的应用程序需要连接到本地数据中心的私有 DNS 端点，则可以将自定义 DNS 服务器添加到核心 DNS configmap 配置中。

例如，假设自定义DNS服务器IP是10.45.45.34，你的DNS后缀是?dns-onprem.com，我们必须添加一个块，如下所示。以便将与该域终结点相关的所有 DNS 请求转发到?10.45.45.34?DNS 服务器。

dns-onprem.com:53 {
    errors
    cache 30
    forward . 10.45.45.34
}

这是完整的 configmap 配置。

apiVersion: v1
data:
  Corefile: |
    .:53 {
        errors
        health {
           lameduck 5s
        }
        ready
        kubernetes cluster.local in-addr.arpa ip6.arpa {
           pods insecure
           fallthrough in-addr.arpa ip6.arpa
           ttl 30
        }
        prometheus :9153
        forward . /etc/resolv.conf {
           max_concurrent 1000
        }
        cache 30
        loop
        reload
        loadbalance
    }
    dns-onprem.com:53 {
    errors
    cache 30
    forward . 10.45.45.34
    }

审核日志记录配置

对于生产集群，审核日志记录是必备功能。

在?kube-api-server.yaml?静态 Pod 清单中启用了审计日志记录。

命令参数应具有以下两个参数。文件路径是任意的，取决于群集管理员。

--audit-policy-file=/etc/kubernetes/audit/audit-policy.yaml
 --audit-log-path=/var/log/kubernetes/audit.log

audit-policy.yaml?包含所有审计策略，audit.log?文件包含 Kubernetes 生成的审计日志。

生产设置中涉及的 Kubernetes 配置

在处理实时项目时，了解 kubernetes 集群配置非常重要。

对于主要发生在本地环境中的自托管 Kubernetes 集群，您需要了解集群控制平面和工作节点的每个配置。

尽管有可用于设置整个群集的自动化工具，但您需要处理以下工作。

向组织的网络或安全团队请求群集证书。
确保集群控制平面组件使用正确的 TLS 证书。
群集 DNS 配置使用自定义 DNS 服务器进行配置。

对于托管的 Kubernetes 集群，您将无法访问控制平面组件。

但是，在实施和与云支持团队讨论期间，充分了解群集配置将有助于解决与群集相关的问题。

结论

在本指南中，我们了解了重要的 Kubernetes 集群配置，这些配置将帮助您进行 Kubernetes 集群管理活动。

文章来源:https://blog.csdn.net/yugongpeng/article/details/135061326
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系我的编程经验分享网邮箱：veading@qq.com进行投诉反馈，一经查实，立即删除！