一、前言

  • Vagrant 是一款用于构建及配置虚拟开发环境的软件，采用 Ruby 编写，主要以命令行方式运行。其主要使用 Oracle VirtualBox 提供虚拟化系统，与 Chef，Salt，Puppet 等环境配置管理软件搭配使用，可以实现快速搭建虚拟开发环境。
  • Kubespray 是利用 Ansible 工具，通过 SSH 协议批量让指定远程机器执行一系列脚本，安装各种组件，完成 K8S 集群搭建。

二、安装 Vagrant

  • 宿主机是 Ubuntu 20.04，安装参考 Install Vagrant：
wget -O- https://apt.releases.hashicorp.com/gpg | gpg --dearmor | sudo tee /usr/share/keyrings/hashicorp-archive-keyring.gpgecho "deb [signed-by=/usr/share/keyrings/hashicorp-archive-keyring.gpg] https://apt.releases.hashicorp.com $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/hashicorp.listsudo apt update && sudo apt install vagrant
  • 这里 Vagrant 用的 provider 是 virtualbox。

三、准备 Vagrant Box

  • 一开始使用的是 centos7，但这个 Box 的一些默认配置不够灵活：
    • SSH Server 配置了无法使用密码连接，只能使用私钥；
    • 磁盘最大只有几十个 G，后期会是一个瓶颈；
    • root 用户无法直接使用。
  • 由于以上原因，决定自制 CentOS Box。

四、自制 CentOS Box

  • 首先准备一个 CentOS 7.8 的虚拟机镜像，基于这个启动一个虚拟机（叫做 centos7.8-template），这个虚拟机有几个要求：
    • 磁盘大小给 2T（预分配，实际占用空间根据实际使用情况而定）；
    • 内存和 CPU 在创建的时候在 Vagrantfile 中再设置；
    • vagrant 用户，sudoer 需要设置 NOPASSWD；
    • 添加公钥；
    • 设置 ssh server，UseDNS=no；
    • 安装 VirtualBox Guest Additions。
# 宿主机上生成 boxvagrant package --base centos7.8-template# 添加 boxvagrant box add package.box --name centos7.8
  • 这个 Box 已经上传到 Vagrant Cloud 了: centos7.8。

五、初始化虚拟机

  • 目录结构：
.├── master01│ └── Vagrantfile├── node01│ └── Vagrantfile├── node02│ └── Vagrantfile├── operator│ └── Vagrantfile└── scripts├── init_node.sh└── init_operator.sh
  • 分别使用 init_operator.sh 和 init_node.sh 初始化操作机和节点机（包括 master）， GitHub 地址：k8s-cluster-vagrant。

六、设置免密登录

ssh-keygenssh-copy-id root@ip

七、初始化 K8S 集群

cp -rfp inventory/sample inventory/mycluster# 生成 hosts.yamldeclare -a IPS=(192.168.3.63 192.168.3.64 192.168.3.65)CONFIG_FILE=inventory/mycluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}# 编辑 inventory/mycluster/hosts.yaml# 修改 master 和 node 的分配# 编辑 inventory/mycluster/group_vars/all/all.yml# 设置 http_proxy 和 https_proxy 代理，代理需要是 http 开头的# 编辑 inventory/mycluster/group_vars/k8s_cluster/k8s-cluster.yml# 设置 container_manager 为 docker# 编辑 inventory/mycluster/group_vars/all/docker.yml# 设置 docker_registry_mirrors，添加阿里云镜像加速地址# 开始创建集群ansible-playbook -i inventory/mycluster/hosts.yaml --become --become-user=root cluster.yml# 删除集群# 会卸载 docker#ansible-playbook -i inventory/mycluster/hosts.yaml --become --become-user=root reset.yml