【k8s】国产化arm架构离线环境三条命令部署k8s1.32.7+ks3.4.1

本文演示在 鲲鹏+欧拉 上使用kt离线部署一主一从的k8s 1.32.7+ks3.4.1(离线包为全量包)，若有其他需要可添加我微信好友sd_zdhr。

1.说明

关于kt

kt是基于kk二次开发的产物，具备kk的所有功能。二开主要为适配信创国产化环境、简化arm部署过程和国产化环境离线部署。支持arm64和amd64架构国产操作系统，已适配芯片+操作系统 如上。

kt新增功能点

• 更新基础组件版本
• 适配arm架构harbor和支持，部署体验与X86一样简单。
• 离线环境部署增强。常用国际和国产操作系统依赖，内置到安装包中。已适配芯片和操作系统如下

  • CPU：鲲鹏、飞腾、海光、兆芯、intel、amd等。
  • OS：Centos、Ubuntu、Debian、银河麒麟V10、麒麟国防版、麒麟信安、中标麒麟V7、统信UOS、华为欧拉、移动大云、阿里龙蜥等。
  • ./kt init-os 一条命令完成操作系统依赖安装和初始化操作。
• 支持开启防火墙，只暴露30000-32767端口，其他k8s端口添加到节点白名单。

  • ./kt firewall 一条命令自动获取节点信息开白名单和防火墙。

基础组件版本信息

• KubeKey: v3.1.10.1(二开版)
• Containerd: v2.0.6
• Crictl: v1.33.0
• Docker: v28.2.2
• Etcd: v3.5.22
• Harbor: v2.13.2
• Docker-compose: v2.29.1
• Kubernetes：v1.32.7

离线制品地址

• 制品：全量离线包^[1]
• kt： kt_**.tar.gz^[2]
• 关注我不迷路

2.环境准备

服务器基本信息

将对应架构kt_arm.tar.gz^[3]上传至每个节点

2.1 系统初始化

操作系统不需要安装docker等，全新的操作系统即可。解压kt文件后执行./kt init-os 已适配操作系统和架构见1.说明

该命令kt会自动判断操作系统和架构以安装依赖项和进行必要的初始化配置。每个节点都需要执行

3 创建 Harbor私有仓库

3.1 上传kt

将kt和离线制品上传至服务器

3.2 创建集群配置文件

主要修改相关节点和harbor信息

./kt create config --with-kubernetes v1.32.7

3.3 修改配置文件

根据实际服务器信息，配置到生成的config-sample.yaml中

kind: Cluster
metadata:
  name: sample
spec:
  hosts:
    - {name: master, address: 192.168.0.58, internalAddress: 192.168.0.58, user: root, password: "123456", arch: arm64}
    - {name: node1, address: 192.168.0.54, internalAddress: 192.168.0.54, user: root, password: "123456", arch: arm64}
  roleGroups:
    etcd:
    - master
    control-plane:
    - master
    worker:
    - node1
    # 如需使用 kk 自动部署镜像仓库，请设置该主机组 （建议仓库与集群分离部署，减少相互影响）
    # 如果需要部署 harbor 并且 containerManager 为 containerd 时，由于部署 harbor 依赖 docker，建议单独节点部署 harbor
    registry:
    - master
  controlPlaneEndpoint:
    ## Internal loadbalancer for apiservers 
    # internalLoadbalancer: haproxy

    domain: lb.kubesphere.local
    address: ""
    port: 6443
kubernetes:
version: v1.32.7
clusterName: cluster.local
autoRenewCerts: true
containerManager: docker
etcd:
type: kubekey
network:
plugin: flannel
kubePodsCIDR: 10.233.64.0/18
kubeServiceCIDR: 10.233.0.0/18
## multus support. https://github.com/k8snetworkplumbingwg/multus-cni
multusCNI:
enabled: false
storage:
openebs:
basePath: /var/openebs/local # base path of the local PV provisioner
registry:
type: harbor
registryMirrors: []
insecureRegistries: []
privateRegistry: "dockerhub.kubekey.local"
namespaceOverride: "kubesphereio"
auths: # if docker add by `docker login`, if containerd append to `/etc/containerd/config.toml`
"dockerhub.kubekey.local":
username: "admin"
password: Harbor@123 # 此处可自定义，kk3.1.8新特性
skipTLSVerify: true # Allow contacting registries over HTTPS with failed TLS verification.
plainHTTP: false # Allow contacting registries over HTTP.
certsPath: "/etc/docker/certs.d/dockerhub.kubekey.local"
addons: []
---
apiVersion: installer.kubesphere.io/v1alpha1
kind: ClusterConfiguration
metadata:
name: ks-installer
namespace: kubesphere-system
labels:
version: v3.4.1

3.4 创建镜像仓库

./kt init registry -f config-sample.yaml -a artifact-arm-k8s1327-ks341.tar.gz

此命令会自动安装docker和docker-compose

3.5 创建harbor项目

说明：

Harbor 管理员账号：admin，密码：Harbor@123。密码同步使用配置文件中的对应password

harbor 安装文件在 /opt/harbor 目录下，可在该目录下对 harbor 进行运维。

vi create_project_harbor.sh

#!/usr/bin/env bash

url="https://dockerhub.kubekey.local"  # 或修改为实际镜像仓库地址
user="admin"
passwd="Harbor@123"

harbor_projects=(
        ks
        kubesphere
        kubesphereio
        tx1st
)

for project in "${harbor_projects[@]}"; do
    echo "creating $project"
    curl -u "${user}:${passwd}" -X POST -H "Content-Type: application/json" "${url}/api/v2.0/projects" -d "{ \"project_name\": \"${project}\", \"public\": true}" -k  # 注意在 curl 命令末尾加上 -k
done

创建 Harbor 项目

chmod +x create_project_harbor.sh

./create_project_harbor.sh

4 创建k8s和KubeSphere

./kt create cluster -f config-sample.yaml -a artifact-arm-k8s1327-ks341.tar.gz

此命令kt会自动将离线制品中的镜像推送到harbor 私有仓库

执行后会有如下提示,输入yes/y继续执行

等待一段时间，直至出现熟悉的等待安装完成的小箭头

继续等待一段时间最终可以看到安装成功的消息

查看节点情况

5 验证

登录页面

首页

集群管理

集群节点

监控告警

Harbor中的项目和镜像，可以看到kubesphereio中包含129个镜像，即包含ks3.4.1全量镜像。

配置文件默认只安装了监控，如何需要安装其他组件，可以自行在自定义资源中开启

安装组件

编辑ks-installer

找到需要安装的组件，修改为true，点击确定，即可安装。

通过以下命令查看安装日志

kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l 'app in (ks-install, ks-installer)' -o jsonpath='{.items[0].metadata.name}') -f

预告：ks3.4.1 arm版 devops

官方提供的devops相关镜像并不完全适配arm架构。作者昨晚已适配完成，由于离线制作打包麻烦，等空闲时再次打包更新制品。

加入交流群，一起探讨后续使用。