内网环境搭建

  • 背景
  • 内网穿透
    • tailscale安装
      • 1、注册tailscale
      • 2、登陆
      • 3、docker部署
      • 4、获取ip
      • 5、关于重启
  • 远程SSH连接
  • 安装docker-compose
  • 安装k3d
    • 开始安装 k3d
      • 方法 1,你可以选择使用官方提供的脚本进行安装:
      • 方法 2,你也可以直接下载二进制文件,然后加入到 PATH 即可:https://github.com/k3d-io/k3d/releases
      • 创建一个 k3d.yml 文件
      • 创建一个 k3d 集群

背景

基于数据资产不断增加,黑群晖已经不满足要求,考虑到需求和环境故购置一台绿联云NAS,NAS中支持docker给内网环境提供了无限可能性。初步规划内网建设分成几个阶段:1、基础环境搭建;2、功能组件搭建;3、安全组件搭建;4、日志监控和运维

内网穿透

作为nas搭建环境,从实现的功能到日常的维护,对于远程连接的需求都是刚性的,所以第一步要做的就是做内网穿透。

由于是房东的房子,宽带的公网ip折腾起来成本太高所以之前黑群晖用的是zerotier,勉强可以用,网速慢且不稳定,且nas没有tun模块导致没办法安装zerotier,后来研究绿联云的时候看到很多人推荐tailscale,于是决定尝试一下,最后的结果却是很NICE,我从稳定性、网络状态、客户端兼容性和出现故障的概率和修复成本(健壮性)列出表格。

工具稳定性网速兼容性健壮性
zerotier
tailscale

tailscale安装

1、注册tailscale

网址在这里,基本上有手就行,tailscale官网,登陆或授权

2、登陆

在你的设备(pc、mac、android、ios)上下载对应的客户端

登陆就行,然后在浏览器打开网页版控制台,就这个网址 https://login.tailscale.com/admin/settings/keys生成一个key,复制它,你只有一次机会,后续就不再出现了

选项中勾选标记的内容,具体功能看英文描述,Reusable打开可以让你的key在重启后也能再次使用,Ephemeral是因为网站的逻辑是上线一台设备之后给一个name,所以开启这个功能让他掉线之后自动删除该设备,tag打开后可以给设备分类标记方便管理,建议打开,在后面自动上线和开启subnets环境用到

3、docker部署

这里有docker的官方介绍,有兴趣的可以瞅一眼。https://hub.docker.com/r/tailscale/tailscale,看不看都行
然后在你的docker仓库搜索 tailscale,下载它

然后添加到容器,这里需要注意的的是有两个挂载路径,对应填上就行
/var/lib
/dev/net/tun

环境需要加一个 TS_AUTH_KEY,把你在tailscale控制台获取的key粘贴在这里就行了
再加一个TS_ROUTES,后面就是你家路由器的局域网地址,后面的/24固定的,不用改

4、获取ip

打开tailscale控制台 machines下面应该就能看到你新加入的设备了,记得打开subnet routes,这样无论内外访问都是相同的ip地址

记得在这里修改过期限制,否则账号到期后就无法连接


此时你就可以访问内网了,但是想要作为代理节点访问其他服务需要打开这个subnets

到这里这个docker容器相当于你在内网的一个网关可以实现代理访问你的内网了。

5、关于重启

测试后发现,每次重启都会导致节点变更,还需要手动开启subnet,后来查看官方文档后,可以进行一下额外配置。

首先在Acls里面添加这两个

添加tag

设置autoApprovers

{"groups": {"group:owner": ["TDHypocrites@github"],},"acls": [{"action": "accept","src":["group:owner", "*"],"dst":["*:*"],},],"tagOwners": {"tag:docker": ["TDHypocrites@github"],},"autoApprovers": {// Alice can create subnet routers advertising routes in 10.0.0.0/24 that are auto-approved"routes": {"10.0.0.0.0/24": ["tag:docker"],},// A device tagged security can advertise exit nodes that are auto-approved"exitNode": ["tag:docker"],},}

需要注意的是 resuable、Ephemeral都需要打开,tag选你刚刚在acl配置的那个tag
Tags选择后,能通过autoApprovers,在设备回复上线后,自动配置subnet从而使用tailscale内网穿透访问你家内网所有设备

远程SSH连接

绿联云没有开放SSH的意思,但是可以通过远程协助的方式通过922端口获取密码登陆,目前分成两个版本。
1、V4.4.0.23.0711之前的系统版本可以通过密码拼接的方式获得root密码,绿联 DX4600 获取 SSH 权限
2、V4.4.0.23.0711之后系统版本可以通过计算的方式获取密码

安装docker-compose

绿联云本身不支持docker-compose,想要获得完整版的体验,必然是需要docker- compose的,所以第一步需要安装docker-compose,绿联云是基于openwrt开发,所以路径需要改一下,改到bin路径下

curl -L "https://github.com/docker/compose/releases/download/v2.2.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/bin/docker-compose

安装k3d

一个完全的初学者在资源受限的环境中运行 k8s 集群,同事搭建完整的 k8s 套件很复杂于是可以考虑各种丐版 k8s 集群,各种丐版的 k8s 集群部署方案,比如:K3S、K3d、Kind、MicroK8S、Minikube、Docker Desktop。

经过网友研究,确认绿联云所属的openwrt系统可以支持k3d,所以确定k3d作为基础容器管理,在这个基础上搭建各类服务,比如 nexus oss、jenkins 等等。

开始安装 k3d

方法 1,你可以选择使用官方提供的脚本进行安装:

wget -q -O - https://raw.githubusercontent.com/k3d-io/k3d/main/install.sh | bash

方法 2,你也可以直接下载二进制文件,然后加入到 PATH 即可:https://github.com/k3d-io/k3d/releases

如果从 github 下载对你的网络来说是一种困难,你可以选择 k3d 或者 FastGithub

创建一个 k3d.yml 文件

k3d.yml 是用户在创建 k3d 集群时使用的配置文件。这是一个范例的配置文件:

apiVersion: k3d.io/v1alpha4kind: Simplemetadata:name: k3s-defaultservers: 1 # same as `--servers 1`agents: 2 # same as `--agents 2`image: docker.io/rancher/k3s:v1.25.6-k3s1kubeAPI: # same as `--api-port myhost.my.domain:6445` (where the name would resolve to 127.0.0.1)host: '127.0.0.1' # important for the `server` setting in the kubeconfig# hostIP: "192.168.1.200" # where the Kubernetes API will be listening onhostPort: '6445' # where the Kubernetes API listening port will be mapped to on your host systemports:- port: 80:80 # same as `--port '8080:80@loadbalancer'`nodeFilters:- loadbalanceroptions:k3d: # k3d runtime settingswait: true # wait for cluster to be usable before returining; same as `--wait` (default: true)timeout: '60s' # wait timeout before aborting; same as `--timeout 60s`disableLoadbalancer: false # same as `--no-lb`disableImageVolume: false # same as `--no-image-volume`disableRollback: false # same as `--no-Rollback`loadbalancer:configOverrides:- settings.workerConnections=2048k3s: # options passed on to K3s itselfextraArgs: # additional arguments passed to the `k3s server|agent` command; same as `--k3s-arg`- arg: '--tls-san=127.0.0.1 --tls-san=ks.newbe.io'nodeFilters:- server:*kubeconfig:updateDefaultKubeconfig: true # add new cluster to your default Kubeconfig; same as `--kubeconfig-update-default` (default: true)switchCurrentContext: true # also set current-context to the new cluster's context; same as `--kubeconfig-switch-context` (default: true)registries: # define how registries should be created or usedconfig:| # define contents of the `registries.yaml` file (or reference a file); same as `--registry-config /path/to/config.yaml`mirrors:"docker.io":endpoint:- "https://mirror.ccs.tencentyun.com"

创建一个 k3d 集群

有了配置文件,现在就可以创建一个 k3d 集群了:

k3d cluster create --config k3d.yml

运行结果大致如下:

root@OpenWrt:/mnt/sda1/workspace# ./k3d cluster create --config k3d.ymlINFO[0000] Using config file k3d.yml (k3d.io/v1alpha4#simple)INFO[0000] portmapping '80:80' targets the loadbalancer: defaulting to [servers:*:proxy agents:*:proxy]INFO[0000] Prep: NetworkINFO[0000] Created network 'k3d-k3s-default'INFO[0000] Created image volume k3d-k3s-default-imagesINFO[0000] Starting new tools node...INFO[0000] Starting Node 'k3d-k3s-default-tools'INFO[0001] Creating node 'k3d-k3s-default-server-0'INFO[0001] Creating node 'k3d-k3s-default-agent-0'INFO[0001] Creating node 'k3d-k3s-default-agent-1'INFO[0001] Creating LoadBalancer 'k3d-k3s-default-serverlb'INFO[0001] Using the k3d-tools node to gather environment informationINFO[0001] HostIP: using network gateway 172.18.0.1 addressINFO[0001] Starting cluster 'k3s-default'INFO[0001] Starting servers...INFO[0001] Starting Node 'k3d-k3s-default-server-0'INFO[0006] Starting agents...INFO[0007] Starting Node 'k3d-k3s-default-agent-0'INFO[0007] Starting Node 'k3d-k3s-default-agent-1'INFO[0010] Starting helpers...INFO[0010] Starting Node 'k3d-k3s-default-serverlb'INFO[0017] Injecting records for hostAliases (incl. host.k3d.internal) and for 4 network members into CoreDNS configmap...INFO[0019] Cluster 'k3s-default' created successfully!INFO[0019] You can now use it like this:kubectl cluster-info

这样我们就得到了一个 k3d 集群,其中包含了一个 master 节点和两个 worker 节点。

获取 kubeconfig
k3d 集群创建成功后,我们可以通过 k3d 命令获取 kubeconfig 文件:

k3d kubeconfig get --all

将 kubeconfig 配置好,就可以使用 kubectl 命令操作 k3d 集群了。

kubectl get nodesNAME STATUS ROLESAGE VERSIONk3d-k3s-default-server-0 Readycontrol-plane,master 38m v1.25.6+k3s1k3d-k3s-default-agent-1Ready<none> 38m v1.25.6+k3s1k3d-k3s-default-agent-0Ready<none> 38m v1.25.6+k3s1