K8S集群

提前条件

服务器信息

K8S集群需要的服务器资源很大，最低标准：

• master：4核8G
• work-node：8核16G

集群搭建方式

1. kubeadm：
   • 特点：kubeadm 是 Kubernetes 官方提供的命令行工具，用于快速部署单主节点或多主节点的 Kubernetes 集群。
   • 优点：简单易用，适合快速部署小型或中型规模的 Kubernetes 集群；官方支持，稳定可靠，有较好的文档和社区支持。
   • 适用场景：适合初学者或希望快速部署 Kubernetes 集群的用户，以及对集群规模要求不是很大的情况。
2. Kubespray：
   • 特点：Kubespray 是一个基于 Ansible 的开源项目，可以部署生产级别的、高可用性的 Kubernetes 集群，支持复杂的网络拓扑、多节点部署等。
   • 优点：灵活且可定制性强，适用于需要定制化部署和管理 Kubernetes 集群的场景；支持高可用性和水平扩展，适合生产环境部署。
   • 适用场景：适合有一定经验的用户或需要在生产环境中部署 Kubernetes 集群的用户，特别是对高可用性和自定义配置有要求的情况。

这里我们选用kubeadm

环境准备

1、基础环境

yum install -y wget && yum install -y vim && yum install -y lsof && yum install -y net-tools

2、更改主机名

172.20.48.103 master172.20.48.104 node1172.20.48.105 node2hostnamectl set-hostname master#将hosts配置文件发送到其他的几个从节点上

3、关闭防火墙

systemctl stop firewalldsystemctl disable firewalld

4、关闭selinux

启用 SELinux 可能会对性能`产生一定影响，关闭 SELinux 会降低系统的安全性，因为 SELinux 能够提供强大的访问控制机制，帮助防止恶意程序对系统资源的滥用和攻击。

如果没有特别的原因，建议保持 SELinux 启用，并通过适当的配置来提高系统的安全性和稳定性。

sed -i 's/enforcing/disabled/' /etc/selinux/configsetenforce 0cat /etc/selinux/config

5、关闭swap分区

• 提高性能：在某些情况下，系统会频繁地将内存中的数据交换到 swap 分区，这可能会导致性能下降。

• 避免过度使用磁盘：频繁的内存交换可能导致磁盘 I/O 过度使用，对于某些特定的应用场景，关闭 swap 分区可以减少对磁盘的压力。

swapoff -a#临时sed -ri 's/.*swap.*/#&/' /etc/fstab#永久free -l -h

6、将ipv4流量传递到iptables的链上（重要）

在搭建 Kubernetes 集群时将 IPv4 流量传递到 iptables 的链上是为了实现网络流量的管理和转发。具体原因包括：

1. 容器间通信：在 Kubernetes 集群中，容器需要能够相互通信以实现服务间的交互。通过 iptables 可以对网络流量进行过滤、转发和修改，确保容器间通信的顺利进行。
2. 网络策略：Kubernetes 中的网络策略（Network Policies）可以通过 iptables 实现对网络流量的细粒度控制，例如限制特定 Pod 之间的通信、实现访问控制等。
3. 服务暴露：Kubernetes 中的 Service 可以通过 iptables 实现负载均衡和服务暴露，将外部流量转发到集群内部的 Pod 上。
4. 网络插件支持：Kubernetes 中常用的网络插件（如 Calico、Flannel 等）通常会使用 iptables 来实现网络功能，通过 iptables 可以方便地与这些网络插件集成。

echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.confecho "net.bridge.bridge-nf-call-ip6tables = 1" >> /etc/sysctl.confecho "net.bridge.bridge-nf-call-iptables = 1" >> /etc/sysctl.confecho "net.ipv6.conf.all.disable_ipv6 = 1" >> /etc/sysctl.confecho "net.ipv6.conf.default.disable_ipv6 = 1" >> /etc/sysctl.confecho "net.ipv6.conf.lo.disable_ipv6 = 1" >> /etc/sysctl.confecho "net.ipv6.conf.all.forwarding = 1">> /etc/sysctl.confsysctl -p

docker跟containerd的区别

CNI的选择，目前有两个主流的CNI也就是容器运行时，一个是docker另外一个是containerd，可能大家都有一个疑惑，现在市面上最广的是docker为什么还要选containerd呢？
结论：Containerd 调用链更短，组件更少，更稳定，占用节点资源更少调用链。

• Docker：Docker 是一个开源的容器化平台，可以让开发者更方便地打包、交付和运行应用程序。它使用容器技术，将应用程序及其依赖项打包到一个称为 Docker 镜像的可移植容器中。

• Containerd：Containerd 则是一个用于管理容器生命周期的高性能容器运行时。它是一个独立的守护进程，负责管理容器的创建、运行、停止和删除等操作。Docker 实际上是建立在 Containerd 之上的，它提供了更多功能，如构建镜像、运行容器等，而 Containerd 则专注于更底层的容器管理任务。

Docker 的优点包括：

• 便捷性：Docker 提供了简单易用的容器化解决方案，使开发者能够快速打包、交付和部署应用程序。

• 轻量级：Docker 容器共享主机操作系统的内核，因此比传统虚拟机更加轻量级，启动速度快，资源占用少。

• 可移植性：Docker 镜像可在任何安装了 Docker 的环境中运行，确保应用程序在不同环境中具有一致的运行效果。

• 隔离性：Docker 容器之间相互隔离，各自拥有独立的文件系统和进程空间，提高了安全性。

Containerd 的优点包括：

• 高性能：Containerd 是一个专注于容器管理的高性能容器运行时，有助于提升容器的运行效率。

• 稳定性：作为一个独立的守护进程，Containerd 专注于容器生命周期管理任务，能够提供稳定可靠的运行环境。

• 可扩展性：Containerd 提供了丰富的插件系统，可以扩展其功能，适应不同的需求场景。

不过，Docker 也存在一些缺点，如：

• 性能开销：相比裸机运行，Docker 容器会有一定的性能开销，尤其是在需要大量 I/O 操作时。

• 安全性：尽管 Docker 提供了一定程度的隔离性，但仍然存在一些安全隐患，需要谨慎配置和管理。

而 Containerd 则可能较为专注于底层容器管理，对于一些高级功能可能需要额外的工具或平台来支持。

安装docker

为了减少学习成本，我们选用docker来作为容器运行时，在实际生产中我们更多使用的就是containerd

清空之前相关的依赖

yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine

安装基础依赖

sudo yum install -y yum-utils

配置docker yum镜像源

sudo yum-config-manager \--add-repo \http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装并启动docker

sudo yum install -y docker-ce docker-ce-cli containerd.io#以下是在安装k8s的时候使用yum install -y docker-ce-20.10.7 docker-ce-cli-20.10.7containerd.io-1.4.6

镜像加速

加快镜像下载速度：通过镜像加速器，可以将常用的容器镜像缓存在本地镜像仓库中，从而加快容器镜像的下载速度，节省时间和带宽。

mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF'{"registry-mirrors": ["https://xxxxxxx.mirror.aliyuncs.com"],"exec-opts": ["native.cgroupdriver=systemd"],"log-driver": "json-file","log-opts": {"max-size": "100m"},"storage-driver": "overlay2"}EOFsudo systemctl daemon-reloadsudo systemctl restart docker

下面是镜像加速地址配置来源。

安装k8s组件

安装k8s、kubelet、kubeadm、kubectl（所有节点）

1. kubelet：
   • 作用：kubelet 是 Kubernetes 集群中每个节点上运行的主要组件，负责管理容器的生命周期，与容器运行时（如 Docker、containerd）进行通信，监控容器状态并保证容器按照期望状态运行。
2. kubeadm：
   • 作用：kubeadm 是 Kubernetes 官方提供的命令行工具，用于快速部署 Kubernetes 集群。它可以帮助用户初始化集群、添加节点、生成证书、创建配置文件等操作，简化了集群的部署过程。
3. kubectl：
   • 作用：kubectl 是 Kubernetes 的命令行工具，用于与 Kubernetes 集群进行交互和管理。通过 kubectl，用户可以执行各种操作，如创建、删除、更新资源对象（Pod、Service、Deployment 等）、查看集群状态、调试应用程序等。

配置yum源

cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64enabled=1gpgcheck=0repo_gpgcheck=0gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpgexclude=kubelet kubeadm kubectlEOF

卸载旧版本组件

yum remove -y kubelet kubeadm kubectl

安装kubelet、kubeadm、kubectl

sudo yum install -y kubelet-1.20.9 kubeadm-1.20.9 kubectl-1.20.9 --disableexcludes=kubernetes

开机启动和重启kubelet

systemctl enable kubelet && systemctl start kubelet

初始化所有节点

创建shell脚本

• 通过 shell 脚本批量拉取镜像，

sudo tee ./images.sh <<-'EOF'#!/bin/bashimages=(kube-apiserver:v1.20.9kube-proxy:v1.20.9kube-controller-manager:v1.20.9kube-scheduler:v1.20.9coredns:1.7.0etcd:3.4.13-0pause:3.2)for imageName in ${images[@]} ; dodocker pull registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/$imageNamedoneEOF chmod +x ./images.sh && ./images.sh

初始化master节点

#主节点初始化kubeadm init \--apiserver-advertise-address=172.31.0.4 \--control-plane-endpoint=master \--image-repository registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images \--kubernetes-version v1.20.9 \--service-cidr=10.96.0.0/16 \--pod-network-cidr=192.168.0.0/16

注意1：172.20.48.103是本机master节点的地址

注意2：若出现`[ERROR FileContent–proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables contents are not set to 1

[preflight] If you know what you are doing, you can make a check non-fatal with `–ignore-preflight-errors=…“

解决方案：echo "1" >/proc/sys/net/bridge/bridge-nf-call-iptables

注意3：service-cidr、pod-network-cidr不能相互冲突

遇到的问题

举个例子，大概是这样的，一般还有端口10250，10257，10259…

[ERROR Port-6443]:Port 6443 is in used[ERROR Port-10250]:Port 10250 is in used[ERROR Port-10257]:Port 10257 is in used[ERROR Port-10259]:Port 10259 is in used

首先，清空一下上一次初始化产生的文件

rm -rf /etc/kubernetes/*rm -rf ~/.kube/*rm -rf /var/lib/etcd/*

然后，停用端口，先下载个包

yum install lsoflsof -i:6443|grep -v "PID"|awk '{print "kill -9",$2}'|shlsof -i:10250|grep -v "PID"|awk '{print "kill -9",$2}'|shlsof -i:10257|grep -v "PID"|awk '{print "kill -9",$2}'|shlsof -i:10259|grep -v "PID"|awk '{print "kill -9",$2}'|sh

将占用的端口挨个停用，报错的是哪些就停用哪些，别照搬

重新加载一下

kubeadm reset

再初始化

安装成功提示

Your Kubernetes control-plane has initialized successfully!To start using your cluster, you need to run the following as a regular user:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/configAlternatively, if you are the root user, you can run:export KUBECONFIG=/etc/kubernetes/admin.confYou should now deploy a pod network to the cluster.Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:https://kubernetes.io/docs/concepts/cluster-administration/addons/You can now join any number of control-plane nodes by copying certificate authoritiesand service account keys on each node and then running the following as root:# 可以添加多个master节点kubeadm join master:6443 --token s9ztl1.74cl38p2ef4yiinu \--discovery-token-ca-cert-hash sha256:35020a02d8fad98bc74efee5e24f7fb81445fa7b37ca447ed67--control-plane # 需要加入的从节点Then you can join any number of worker nodes by running the following on each as root:kubeadm join master:6443 --token s9ztl1.74cl38p2ef4yiinu \--discovery-token-ca-cert-hash sha256:35020a02d8fad98bc74efee5e24f7fb81445fa7b37ca447ed67

注意：令牌指令只有在24小时内有效果。如果过期了可以执行kubeadm token create --print-join-command

安装calico网络插件

在 Kubernetes 中，网络插件（Network Plugin）是负责管理 Pod 之间以及 Pod 到外部网络通信的组件，它实现了 Kubernetes 集群中不同节点之间的网络互联，并提供了网络策略、服务发现等功能。常见的 Kubernetes 网络插件包括以下几种：

1. Flannel：Flannel 是最简单的 Kubernetes 网络插件之一，使用虚拟网络技术为 Pod 提供网络连接。它基于 UDP 或 VXLAN 实现了简单的网络隔离和路由功能。
2. Calico：Calico 是一个功能强大的网络插件，支持网络策略和安全性控制。它基于 BGP 协议来管理网络路由，实现了高效的跨节点通信和网络隔离。
3. Weave Net：Weave Net 是一个面向多云和混合云环境的网络插件，提供了灵活的网络配置选项和服务发现功能。它使用虚拟网络技术来连接 Pod，并支持网络策略和加密通信。

实际生产中我们见的最多网络插件是Calico跟Flannel。这里我们选用calico

curl https://docs.projectcalico.org/v3.20/manifests/calico.yaml -Okubectl apply -f calico.yaml

此时需要一段时间等待pod就绪，可以使用kubectl get pod -A查看pod的状态

加入work节点（从节点）

kubeadm join master:6443 --token s9ztl1.74cl38p2ef4yiinu \--discovery-token-ca-cert-hash sha256:35020a02d8fad98bc74efee5e24f7fb81445fa7b37ca447ed67

注意此时的指令是，上述初始化master节点完成之后出现的。

接着我们可以回到master节点，通过kubectl get nodes观察从节点是否已经加入了集群中

• 此时需要查看pod是否完成

# 因为不确定啥时候完成安装，可以通linux指令，每一秒都执行一次指令watch -n 1 kubectl get pods -A

搭建可视化界面Dashboard

1、部署

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml#原文件apiVersion: v1kind: Namespacemetadata:name: kubernetes-dashboard---apiVersion: v1kind: ServiceAccountmetadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboard---kind: ServiceapiVersion: v1metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboardspec:ports:- port: 443targetPort: 8443selector:k8s-app: kubernetes-dashboard---apiVersion: v1kind: Secretmetadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboard-certsnamespace: kubernetes-dashboardtype: Opaque---apiVersion: v1kind: Secretmetadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboard-csrfnamespace: kubernetes-dashboardtype: Opaquedata:csrf: ""---apiVersion: v1kind: Secretmetadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboard-key-holdernamespace: kubernetes-dashboardtype: Opaque---kind: ConfigMapapiVersion: v1metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboard-settingsnamespace: kubernetes-dashboard---kind: RoleapiVersion: rbac.authorization.k8s.io/v1metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboardrules:# Allow Dashboard to get, update and delete Dashboard exclusive secrets.- apiGroups: [""]resources: ["secrets"]resourceNames: ["kubernetes-dashboard-key-holder", "kubernetes-dashboard-certs", "kubernetes-dashboard-csrf"]verbs: ["get", "update", "delete"]# Allow Dashboard to get and update 'kubernetes-dashboard-settings' config map.- apiGroups: [""]resources: ["configmaps"]resourceNames: ["kubernetes-dashboard-settings"]verbs: ["get", "update"]# Allow Dashboard to get metrics.- apiGroups: [""]resources: ["services"]resourceNames: ["heapster", "dashboard-metrics-scraper"]verbs: ["proxy"]- apiGroups: [""]resources: ["services/proxy"]resourceNames: ["heapster", "http:heapster:", "https:heapster:", "dashboard-metrics-scraper", "http:dashboard-metrics-scraper"]verbs: ["get"]---kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardrules:# Allow Metrics Scraper to get metrics from the Metrics server- apiGroups: ["metrics.k8s.io"]resources: ["pods", "nodes"]verbs: ["get", "list", "watch"]---apiVersion: rbac.authorization.k8s.io/v1kind: RoleBindingmetadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboardroleRef:apiGroup: rbac.authorization.k8s.iokind: Rolename: kubernetes-dashboardsubjects:- kind: ServiceAccountname: kubernetes-dashboardnamespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:name: kubernetes-dashboardroleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: kubernetes-dashboardsubjects:- kind: ServiceAccountname: kubernetes-dashboardnamespace: kubernetes-dashboard---kind: DeploymentapiVersion: apps/v1metadata:labels:k8s-app: kubernetes-dashboardname: kubernetes-dashboardnamespace: kubernetes-dashboardspec:replicas: 1revisionHistoryLimit: 10selector:matchLabels:k8s-app: kubernetes-dashboardtemplate:metadata:labels:k8s-app: kubernetes-dashboardspec:containers:- name: kubernetes-dashboardimage: kubernetesui/dashboard:v2.3.1imagePullPolicy: Alwaysports:- containerPort: 8443protocol: TCPargs:- --auto-generate-certificates- --namespace=kubernetes-dashboard# Uncomment the following line to manually specify Kubernetes API server Host# If not specified, Dashboard will attempt to auto discover the API server and connect# to it. Uncomment only if the default does not work.# - --apiserver-host=http://my-address:portvolumeMounts:- name: kubernetes-dashboard-certsmountPath: /certs# Create on-disk volume to store exec logs- mountPath: /tmpname: tmp-volumelivenessProbe:httpGet:scheme: HTTPSpath: /port: 8443initialDelaySeconds: 30timeoutSeconds: 30securityContext:allowPrivilegeEscalation: falsereadOnlyRootFilesystem: truerunAsUser: 1001runAsGroup: 2001volumes:- name: kubernetes-dashboard-certssecret:secretName: kubernetes-dashboard-certs- name: tmp-volumeemptyDir: {}serviceAccountName: kubernetes-dashboardnodeSelector:"kubernetes.io/os": linux# Comment the following tolerations if Dashboard must not be deployed on mastertolerations:- key: node-role.kubernetes.io/mastereffect: NoSchedule---kind: ServiceapiVersion: v1metadata:labels:k8s-app: dashboard-metrics-scrapername: dashboard-metrics-scrapernamespace: kubernetes-dashboardspec:ports:- port: 8000targetPort: 8000selector:k8s-app: dashboard-metrics-scraper---kind: DeploymentapiVersion: apps/v1metadata:labels:k8s-app: dashboard-metrics-scrapername: dashboard-metrics-scrapernamespace: kubernetes-dashboardspec:replicas: 1revisionHistoryLimit: 10selector:matchLabels:k8s-app: dashboard-metrics-scrapertemplate:metadata:labels:k8s-app: dashboard-metrics-scraperannotations:seccomp.security.alpha.kubernetes.io/pod: 'runtime/default'spec:containers:- name: dashboard-metrics-scraperimage: kubernetesui/metrics-scraper:v1.0.6ports:- containerPort: 8000protocol: TCPlivenessProbe:httpGet:scheme: HTTPpath: /port: 8000initialDelaySeconds: 30timeoutSeconds: 30volumeMounts:- mountPath: /tmpname: tmp-volumesecurityContext:allowPrivilegeEscalation: falsereadOnlyRootFilesystem: truerunAsUser: 1001runAsGroup: 2001serviceAccountName: kubernetes-dashboardnodeSelector:"kubernetes.io/os": linux# Comment the following tolerations if Dashboard must not be deployed on mastertolerations:- key: node-role.kubernetes.io/mastereffect: NoSchedulevolumes:- name: tmp-volumeemptyDir: {}

注意1：该文件是yaml文件，需要严格遵守文件格式

注意2：该方式创建的pod是ClusterIP（只有内部集群访问），可以通过一下方式想外暴露端口，type: ClusterIP 改为 type: NodePort

2、查看访问端口

kubectl get svc -A |grep kubernetes-dashboard## 找到端口，在安全组放行[root@master ~]# kubectl get svc -ANAMESPACENAMETYPECLUSTER-IPEXTERNAL-IP PORT(S)AGEdefaultkubernetesClusterIP 10.96.0.1 <none>443/TCP17hkube-systemkube-dnsClusterIP 10.96.0.10<none>53/UDP,53/TCP,9153/TCP 17hkubernetes-dashboard dashboard-metrics-scraper ClusterIP 10.96.120.169 <none>8000/TCP 11mkubernetes-dashboard kubernetes-dashboardNodePort10.96.204.48<none>443:32149/TCP11m

当我们使用chrome浏览器发现，我们是进不去的，此时我们可以在当前浏览器界面输入thisisunsafe，可直接跳转到登录界面，输入令牌即可进入。

3、创建可访问账号

#创建访问账号，准备一个yaml文件； vi dash.yamlapiVersion: v1kind: ServiceAccountmetadata:name: admin-usernamespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:name: admin-userroleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: cluster-adminsubjects:- kind: ServiceAccountname: admin-usernamespace: kubernetes-dashboard

kubectl apply -f dash.yaml

4、令牌访问

• 通过指令可以获取进入dashborad界面的令牌

#获取访问令牌kubectl -n kubernetes-dashboard get secret $(kubectl -n kubernetes-dashboard get sa/admin-user -o jsonpath="{.secrets[0].name}") -o go-template="{{.data.token | base64decode}}"

5、验证
面，输入令牌即可进入。

3、创建可访问账号

#创建访问账号，准备一个yaml文件； vi dash.yamlapiVersion: v1kind: ServiceAccountmetadata:name: admin-usernamespace: kubernetes-dashboard---apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:name: admin-userroleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: cluster-adminsubjects:- kind: ServiceAccountname: admin-usernamespace: kubernetes-dashboard

kubectl apply -f dash.yaml

4、令牌访问

• 通过指令可以获取进入dashborad界面的令牌

#获取访问令牌kubectl -n kubernetes-dashboard get secret $(kubectl -n kubernetes-dashboard get sa/admin-user -o jsonpath="{.secrets[0].name}") -o go-template="{{.data.token | base64decode}}"