【k8s】基于kk二开kt安装k8s最新1.33.3版本和KeubeSphere4.1.3-天行1st的博客

昨日，在KubeSphere群看到消息，感到非常惋惜。连夜修改了下KubeKey源码来支持最新版的k8s 1.33.3和次新1.32.7。同步更新了基础组件至最新版和次新版，以便在没有更好的管理平台出现前可以续命一段时间。

本文不再演示在线过程(已没有意义)，暂时演示x86_64架构离线部署过程(arm需要等等)，若有其他需要可添加我微信好友sd_zdhr。

kt****新增功能点

离线环境部署增强。常用国际和国产操作系统依赖，内置到安装包中。
适配arm架构harbor和支持，效果等同x86体验。
支持开启防火墙，只暴露30000-32767端口，其他k8s端口添加到节点白名单
更新基础组件版本

基础组件版本信息

KubeKey: v3.1.10.1(二开版)
Containerd: v2.0.6
Crictl: v1.33.0
Docker: v28.2.2
Etcd: v3.5.22
Harbor: v2.13.2
Docker-compose: v2.29.1
Kubernetes：v1.33.3

离线制品地址

制品：**[离线安装包](**``**https://pan.quark.cn/s/87b94061cf8b**``**。 "离线制品")**
kt：**[kt_**.tar.gz](**``**https://pan.xunlei.com/s/VOWYIm73QisshzT4vAfFR-3LA1?pwd=c9nt#**``**。 "kt压缩包")**

1.说明

作者使用k8s和kubesphere过程中已适配芯片和操作系统如下：

CPU芯片：
- 鲲鹏
- 飞腾
- 海光
- 兆芯
- 国际芯片:interl、amd等
操作系统
- 银河麒麟V10
- 麒麟国防版
- 麒麟信安
- 中标麒麟V7
- 统信 UOS
- 华为欧拉 openEuler、移动大云
- 阿里龙蜥 Anolis OS
- 腾讯 TencentOS
- 国际操作系统：centos、ubuntu、debian等

本文由 [编码如写诗-天行1st] 原创编写，有任何问题可添加作者微信 [sd_zdhr] 获取帮助。

关于我：

主要从事后端开发，兼具前端、运维及全栈工程师，热爱Golang、Docker、kubernetes、KubeSphere。
信创服务器k8s&KubeSphere布道者、KubeSphere离线部署布道者
公众号：编码如写诗，作者：天行1st，微信：sd_zdhr

关于kt

kt是基于kk二次开发的产物，具备kk的所有功能，二开主要为适配信创国产化环境、简化arm部署过程和国产化环境离线部署。支持arm64和amd64架构国产操作系统，已适配芯片+操作系统如上。

2.环境准备

服务器基本信息

主机名	架构	OS	配置	IP
node1	x86_64	Ubuntu24.04	2核4G	192.168.150.138

将对应架构[kt_**.tar.gz](``https://pan.xunlei.com/s/VOWYIm73QisshzT4vAfFR-3LA1?pwd=c9nt#``。 "kt压缩包")上传至每个节点

2.1 系统初始化

解压kt文件后执行./kt init-os 已适配操作系统和架构见1.说明

该命令kk会自动判断操作系统和架构以安装依赖项和进行必要的初始化配置。

3 创建 Kubernetes 集群

以下操作默认在master1执行

3.1 创建安装目录

home目录下创建ks目录，用于安装部署K8S+KubeSphere

此处之所以在/home目录下安装，是有些客户自带操作系统而且默认根目录下只有50G空间，而更大的空间在/home目录下。笔者所在公司可能需要到用户提供的服务器和操作系统安装集群，为避免空间占用不足，直接到/home下新建。

mkdir -p /home/ks
cd /home/ks

3.2 上传kt

将kt移动至/home/ks目录下

3.3 创建集群配置文件

主要修改相关节点和harbor信息

./kt create config --with-kubernetes v1.33.3

3.4 修改配置文件

根据实际服务器信息，配置到生成的config-sample.yaml中

kind: Cluster
metadata:
  name: sample
spec:
  hosts:
  - {name: node1, address: 192.168.85.138, internalAddress: 192.168.85.138, user: root, password: "Zdhr@213"}
  roleGroups:
    etcd:
    - node1
    control-plane:
    - node1
    worker:
    - node1
    # 如需使用 kk 自动部署镜像仓库，请设置该主机组 （建议仓库与集群分离部署，减少相互影响）
    # 如果需要部署 harbor 并且 containerManager 为 containerd 时，由于部署 harbor 依赖 docker，建议单独节点部署 harbor
    registry:
    - node1
  controlPlaneEndpoint:
    ## Internal loadbalancer for apiservers 
    # internalLoadbalancer: haproxy

    domain: lb.kubesphere.local
    address: ""
    port: 6443
  kubernetes:
    version: v1.33.3
    clusterName: cluster.local
    autoRenewCerts: true
    containerManager: docker
  etcd:
    type: kubekey
  network:
    plugin: flannel
    kubePodsCIDR: 10.233.64.0/18
    kubeServiceCIDR: 10.233.0.0/18
    ## multus support. https://github.com/k8snetworkplumbingwg/multus-cni
    multusCNI:
      enabled: false
  registry:
    type: harbor
    registryMirrors: []
    insecureRegistries: []
    privateRegistry: "dockerhub.kubekey.local"
    namespaceOverride: "tx1st"
    auths: # if docker add by `docker login`, if containerd append to `/etc/containerd/config.toml`
      "dockerhub.kubekey.local":
        username: "admin"
        password: Harbor@123 # 此处可自定义，kk3.1.8新特性
        skipTLSVerify: true # Allow contacting registries over HTTPS with failed TLS verification.
        plainHTTP: false # Allow contacting registries over HTTP.
        certsPath: "/etc/docker/certs.d/dockerhub.kubekey.local"
  addons: []

说明：这里写一下注意事项

config-sample.yaml 配置文件的 spec:hosts 参数

官方介绍

address 服务器的 SSH 登录 IP 地址。
internalAddress 服务器在子网内部的 IP 地址。

注：若部署的服务器在同一区域，内网IP可以互通，address 和internalAddress 都使用内网IP。之前遇到过有的小伙伴买的云服务器做测试，address使用公网IP，由于部署过程通信拷贝文件走了address，公网带宽又低。导致创建集群时异常的慢。

3.5 创建镜像仓库

./kt init registry -f config-sample.yaml -a artifact-k8s1333-ks413.tar.gz

3.6 创建harbor项目

说明：

由于 Harbor 项目存在访问控制（RBAC）的限制，即只有指定角色的用户才能执行某些操作。如果您未创建项目，则镜像不能被推送到 Harbor。Harbor 中有两种类型的项目：

公共项目（Public）：任何用户都可以从这个项目中拉取镜像。
私有项目（Private）：只有作为项目成员的用户可以拉取镜像。

Harbor 管理员账号：admin，密码：Harbor@123。密码同步使用配置文件中的对应password

harbor 安装文件在 <font style="background-color:rgb(255,245,235);">/opt/harbor</font> 目录下，可在该目录下对 harbor 进行运维。

vi create_project_harbor.sh

#!/usr/bin/env bash

url="https://dockerhub.kubekey.local"  # 或修改为实际镜像仓库地址
user="admin"
passwd="Harbor@123"

harbor_projects=(
        ks
        kubesphere
        kubesphereio
        tx1st
)

for project in "${harbor_projects[@]}"; do
    echo "creating $project"
    curl -u "${user}:${passwd}" -X POST -H "Content-Type: application/json" "${url}/api/v2.0/projects" -d "{ \"project_name\": \"${project}\", \"public\": true}" -k  # 注意在 curl 命令末尾加上 -k
done

创建 Harbor 项目

chmod +x create_project_harbor.sh

./create_project_harbor.sh

4 创建k8s集群

./kt create cluster -f config-sample.yaml -a artifact-k8s1333-ks413.tar.gz --with-local-storage

执行后会有如下提示,输入yes/y继续执行

等待一段时间，看到输入成功的消息

5 安装 KubeSphere

helm upgrade --install -n kubesphere-system --create-namespace ks-core ks-core-1.1.5.tgz \
     --set global.imageRegistry=dockerhub.kubekey.local/tx1st \
     --set extension.imageRegistry=dockerhub.kubekey.local/tx1st \
     --set ksExtensionRepository.image.tag=v1.1.5 \
     --debug \
     --wait