Madd Blog

开始K8S操作

Sun, 07 Apr 2024 00:00:00 GMT

概述

Kubernetes 是一个可移植、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态，其服务、支持和工具的使用范围相当广泛。

K8S操作命令

Pod操作

创建操作

Pod扩缩容

临时修改镜像应用 [docker commit、push]

命名空间

Service【SVC】

作用：通过label将外部流量引入到Pod里面

通常情况下k8s集群内部可以自由访问svc数据，svc通过label指向Pod的label中

外部用户无法访问，通过配置NodePort进行端口映射，才可以访问svc

SVC的能力是由组件kube-proxy来实现的，转换成iptables规则

SVC创建

方式一：命令方式 -expose

方式二：yaml清单方式 -apply

应用数据

k8s应用数据类型和步骤解析【网图】

示例1:emptyDir

Pod madd-emptydir 中两个容器 nginx-web,change-index

共用一个数据卷 nginx-index，每两秒下change-index容器命令修改数据卷index页面信息，查看nginx-web页面会根据change-index容器的修改而变化

示例2:hostPath

下面几种不再赘述

配置管理

示例一：configMap[通过代理svc取根据configMap 访问不同的容器]

示例二：secret

Ingress

Ingress是授权入站连接到达集群服务的规则集合。从外部流量调度到nodeport上的service 从service调度到ingress-controller ingress-controller根据ingress[Pod]中的定义（虚拟主机或者后端的url）根据虚拟主机名直接调度到后端的一组应用pod中

第一层service，用于接收流量

第二次service，用于【分组】分发流量指定pod

ingress需要专门的控制器环境

部署ingress环境

ingress-nginx官网

Ingress 属性解读

annotations 注释的信息，表明是什么ingress环境，

对于k8s1.24+ 采用：spec.ingressClassName: nginx

rules:实现根据path的url关键字和svc的绑定

pathType:匹配方式

访问ingres，基于请求头host来进行数据匹配,如果使用IP地址访问必须携带请求头

搭建kubeneters集群

Fri, 22 Mar 2024 00:00:00 GMT

概述

开始搭建K8S集群

先决条件

这里将通过虚拟机安装3台centos stream 9服务器，并组成kubeneters集群（1个master，2个worker节点）,以下是本次实践的基本环境信息：

VMware Fusion 专业版 13.5.1 (23298085)

操作系统：centos stream 9

下载地址： CentOS-Stream-9-latest-aarch64-dvd1.iso

k8s版本：v1.28.2

k8s网络插件：flannel

k8s存储插件：nfs

以下命令皆在root用户下操作，非root权限用户，如果遇到命令操作没权限可以sudo 开始

一、在虚拟机（VMware Fusion）上安装操作系统

在虚拟机中按安装3台服务器（内存2G，处理器数量1，处理器内核数量2，网络NAT模式）：

172.16.55.144 k8s-master

172.16.55.145 k8s-node1

172.16.55.146 k8s-node2

虚拟机安装过程省略。。。

docker安装过程省略。。。

二、安装k8s前的系统配置准备

在安装k8s前，通过官方文档了解到有一些服务器的配置工作，来保证k8s能顺利创建和工作。

1、修改主机名称(每个节点)

或者

修改主机名称，使用以下命令

将master主节点命名为k8s-master、工作节点worker1命名为k8s-node1、工作节点worker2命名为k8s-node2

以master节点为例；其他两个节点执行同样操作！

或者使用vim进行修改文件内容

针对服务器可以使用shutdown -r来安全重启机器，对于本地虚拟机则手动关机重启即可

2、主机名与ip绑定(每个节点)

以master节点为例；其他两个节点执行同样操作！

添加参数，将主机与ip绑定

或者使用vim命令修改文件，将ip与名称参数填入

或者使用echo

添加后查看如下

3、关闭防火墙(每个节点)

4、关闭selinux(每个节点)

如果关闭失败，可直接修改/etc/selinux/config SELINUX=disabled

5、关闭swap(每个节点)

6、将桥接的 IPv4 流量传递到 iptables 的链(每个节点)

7、时间同步设置(每个节点)

先查看同步状态

时区参数Time zone: Asia/Shanghai(CST, +0800)Asia/Shanghai表示上海时区

时钟是否同步参数System clock synchronized: yesyes为同步

时钟同步服务是否开启NTP service: activeactive为已开启

如未同步，则执行以下命令设置

设置时区（上海时区）

设置时间同步

或

然后输入date命令查看时间验证

如果是本地创建的虚拟机则还需执行以下命令，如果是云服务器则可忽略

当前UTC时间写入硬件时钟

重启系统时间服务

8、容器配置加速器文件(每个节点)

9、安装containerd

k8s依赖容器运行时（v1.24 弃用 dockershim）（如果需要使用docker，需要安装cri-dockerd组件），我们这里直接使用containerd。

10、更换国内清华大学Yum源

备份系统自带的Yum源配置文件

新建清华大学Yum源配置

填入如下内容

重新清理和生成Yum源配置文件的缓存

三、安装k8s集群及网络插件（flannel）

1、添加kubernetes仓库(每个节点)

下面命令行中：以自己服务器类型而定，我这里是aarch64; baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-aarch64/

2、安装Kubernetes modules(每个节点)

3、部署kubernetes集群

在k8s-master节点上初始化集群

kubeadm join从输出的末尾复制命令并将其保存在安全的地方。稍后我们将使用此命令来允许工作节点加入集群。如果您忘记复制该命令，或者找不到它，您可以使用以下命令重新生成它：

接下来按照输出提示创建和声明目录

将pod网络部署到集群

验证主节点现在是否准备就绪：

建议检查所有 Pod 是否正常运行：

在子节点（k8s-node1、k8s-node2）按照上面的提示添加工作节点

运行第（1）步kubeadm join的命令，将节点加入集群：

时间同步、防火墙、SELinux、以及/etc/hosts映射关系会影响节点的加入

两个节点加入完成后，在k8s-master节点上验证：

将子节点设置为worker角色：

完成后，再次查看节点，可以看到ROLES变为了worker，至此，我们的集群就准备就绪了。

如果需要在子节点访问kubernetes集群

在子节点创建文件夹

在主节点执行如下命令

在子节点进行验证

四、安装Dashboard[主分支]

Kubernetes Dashboard 是 Kubernetes 的官方 Web UI。它提供了集群的详细信息和管理功能。以下是安装和使用 Kubernetes Dashboard 的步骤：

安装前需要先选择与你安装的Kubernetes对应版本的Dashboard，不然会出现各种问题。每个releases都会有一张对应表，如下图：

安装Kubernetes Dashboard 7.X

https://github.com/kubernetes/dashboard/releases

从7.x版开始，不再支持基于Manifest的安装。现在只支持基于Helm的安装。由于多容器设置和对Kong网关API代理的严重依赖要轻松支持基于清单安装是不可行的。

1、通过官方脚本安装Helm：

安装成功后：

查看svc是否完成：

2、修改NodePort端口，支持远程调用

此时通过 https 访问 31946 端口即可打开 dashboard 控制台，需要使用token登录

3、创建token

kubernetes v1.24.0 更新之后进行创建 ServiceAccount 不会自动生成 Secret 需要对其手动创建

创建 Secret 资源并与 ServiceAccount 关联

绑定默认cluster-admin管理员集群角色

4、创建长期Token

登录成功后可正常使用;在集群中找到Nodes可查看集群节点相关信息

五、搭建kuboard[第三方可视化界面][主分支]

kuboard官网地址

kuboard官网安装链接

1、使用 hostPath 提供持久化

执行下面快捷安装指令

2、访问 Kuboard

在浏览器中打开链接 http://your-node-ip-address:30080

输入初始用户名和密码，并登录

用户名： admin
密码： Kuboard123

3、卸载

清理遗留数据

在 master 节点以及带有 k8s.kuboard.cn/role=etcd 标签的节点上执行

六、搭建私有仓库Harbor[主分支]

1、安装docker-compose

下载地址：docker-compose

2、安装Harbor

下面命令行中：以自己服务器类型而定，我这里是aarch64;

aarch64： harbor-offline-installer-aarch64

X86-64：harbor-offline-installer

账号admin，密码为harbor_admin_password 对应的值，登录后可创建新角色用户

3、定制Harbor服务启动文件

4、上传Harbor仓库[以nginx为例]

5、K8S拉取私有仓库镜像部署[集群中分支均可]

DevOps

Mon, 22 Apr 2024 00:00:00 GMT

devOps

一、DevOps介绍

软件开发最开始是由两个团队组成: 开发计划由开发团队从头开始设计和整体系统的构建。需要系统不停的迭代更新。运维团队将开发团队的Code进行测试后部署上线。希望系统稳定安全运行。

这看似两个目标不同的团队需要协同完成一个软件的开发。

在开发团队指定好计划并完成coding后，需要提供到运维团队。运维团队向开发团队反馈需要修复的BUG以及一些需要返工的任务。

这时开发团队需要经常等待运维团队的反馈。这无疑延长了事件并推迟了整个软件开发的周期。

会有一种方式，在开发团队等待的时候，让开发团队转移到下一个项目中。等待运维团队为之前的代码提供反馈。可是这样就意味着一个完整的项目需要一个更长的周期才可以开发出最终代码。

基于现在的互联网现状，更推崇敏捷式开发，这样就导致项目的迭代速度更快，但是由于开发团队与运维团队的沟通问题，会导致新版本上线的时间成本很高。这又违背的敏捷式开发的最初的目的。

那么如果让开发团队和运维团队整合到成一个团队，协同应对一套软件呢?这就被称为DevOps。

DevOps，字面意思是Development &Operations的缩写，也就是开发&运维。虽然字面意思只涉及到了开发团队和运维团队，其实QA测试团队也是参与其中的。

核心就在于简化Dev和Ops团队之间的流程，使整体软件开发过程更快速。整体的软件开发流程包括:

PLAN:开发团队根据客户的目标制定开发计划

CODE:根据PLAN开始编码过程，需要将不同版本的代码存储在一个库中。

BUILD:编码完成后，需要将代码构建并且运行。

TEST:成功构建项目后，需要测试代码是否存在BUG或错误。

DEPLOY:代码经过手动测试和自动化测试后，认定代码已经准备好部署并且交给运维团队。

OPERATE:运维团队将代码部署到生产环境中。

MONITOR:项目部署上线后，需要持续的监控产品。

INTEGRATE:然后将监控阶段收到的反馈发送回PLAN阶段，整体反复的流程就是DevOps的核心，即持续集成、持续部署。

DevOps 强调的是高效组织团队之间如何通过自动化的工具协作和沟通来完成软件的生命周期管理，从而更快、更频繁地交付更稳定的软件。

二、Code阶段工具

先决条件

这里将通过虚拟机安装3台centos stream 9服务器，并组成kubeneters集群（1个master，2个worker节点）,以下是本次实践的基本环境信息：

VMware Fusion 专业版 13.5.1 (23298085)

操作系统：centos stream 9

下载地址： CentOS-Stream-9-latest-aarch64-dvd1.iso

k8s版本：v1.28.2

k8s网络插件：flannel

k8s存储插件：nfs

以下命令皆在root用户下操作，非root权限用户，如果遇到命令操作没权限可以sudo 开始

在虚拟机中按安装3台服务器（内存4G，处理器数量1，处理器内核数量4，网络NAT模式）：

172.16.55.147 k8s-gitlab

172.16.55.148 k8s-jenkins

docker、docker-compose 安装略

1.centos stream9 修改IP方式

2.1 Git安装

https://git-scm.com/(傻瓜式安装)

2.2 GitLab安装[k8s-gitlab节点]

准备docker-compose.yml文件

三、Build阶段工具

下载jdk和maven[k8s-jenkins节点]

jdk: JDK8下载地址

maven:

MAVEN下载地址

文件解压缩到/usr/local

修改maven setting.xml 文件配置

四、Integrate工具

持续集成、持续部署的工具很多，其中Jenkins是一个开源的持续集成平台。 Jenkins涉及到将编写完毕的代码发布到测试环境和生产环境的任务，并且还涉及到了构建项目等任务。 Jenkins需要大量的插件保证工作，安装成本较高，下面会基于Docker搭建Jenkins。

4.1 Jenkins介绍

Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具

Jenkins应用广泛，大多数互联网公司都采用Jenkins配合GitLab、Docker、K8s作为实现DevOps的核心工具。

Jenkins最强大的就在于插件，Jenkins官方提供了大量的插件库，来自动化CI/CD过程中的各种琐碎功能。

Jenkins最主要的工作就是将GitLab上可以构建的工程代码拉取并且进行构建，再根据流程可以选择发布到测试环境或是生产环境。一般是GitLab上的代码经过大量的测试后，确定发行版本，再发布到生产环境。 CI/CD可以理解为:

CI过程即是通过Jenkins将代码拉取、构建、制作镜像交给测试人员测试。持续集成:让软件代码可以持续的集成到主干上，并自动构建和测试。

CD过程即是通过Jenkins将打好标签的发行版本代码拉取、构建、制作镜像交给运维人员部署。持续交付:让经过持续集成的代码可以进行手动部署。

持续部署:让可以持续交付的代码随时随地的自动化部署。

4.2 Jenkins安装

准备docker-compose.yml文件

密码就是日志中的78c8fc14a64542f9ad7fdd50f4256c55

选择插件来安装

等待插件安装，如果网络不好，可以使用国内镜像源

然后重启jenkins下载插件。

除了上面的默认插件，还需要安装插件：

Git Parameter

Publish Over SSH

Environment Injector

4.3 Jenkins配置

JDK、MAVEN全局配置，应用并保存

系统管理配置：指定服务器中构建文件存放地址

4.4 Jenkins项目示例

创建一个基础简单的项目：springboot-shiro,[可自定义简单项目，用于区分不同分支下构建的校验] 在gitlab中创建，并指定两个分支

代码信息：

添加docker信息

docker-compose.yml

Dockerfile

看一下docker容器，已经发布到docker容器中

sonarqube安装

访问9000端口，原始账号密码admin/admin

安装中文插件：

sonar-scanner安装

服务器中安装sonar-scanner

sonar-scanner下载地址

jenkins 安装插件 SonarQube ScannerVersion

记住token squ_e3bf74290deebf7f92595e45ff4441b46bfOcdf6

在jenkins中配置全局凭证

jenkins项目配置,在maven build之后配置

配置jenkins容器支持操作宿主机docker配置【示例二适用】

修改jenkins项目配置

编写jenkins执行脚本文件【示例二适用】

添加jenkins 构建后操作

其中的${BRANCH}来源于【构建环境】步骤中的配置

4.5、Jenkins示例二（流水线）

新建流水线任务：

下面的git地址是Jenkinsfile的git地址，我是把这个文件放到了这个项目里，所以直接用这个项目的git地址：

编辑Jenkinsfile,就是把示例一中的步骤通过这个脚本文件执行

4.6 钉钉通知配置

下载插件DingTalk,我下载的是【2.7.3版本】，不同版本配置有差异；

钉钉群里面添加一个自定义机器人：

配置好后，可以右下角点击测试看一下

在示例二为例：[钉钉插件2.7.3版本，无需配置流水线脚本post{}]

Helm

Wed, 17 Apr 2024 00:00:00 GMT

Kubernetes包管理器Helm

Helm-GitHub地址

简介

helm的功能类似于yum 或 apt，提供应用部署时候所需要的各种配置、资源清单文件，他与yum之类工具不同的是，在k8s中helm是不提供镜像的，这些镜像文件需要由专门的镜像仓库来提供。

基于helm来成功的部署一个应用服务，完整的工作流程如下： 1 部署一个稳定运行的k8s集群，在能管理k8s的主机上部署helm。 2 用户在客户端主机上，定制各种Chart资源和config资源，上传到专用的仓库(本地或者远程) 3 helm客户端向Tiller发出部署请求，如果本地有chart用本地的，否则从仓库获取 4 Tiller与k8s集群的api-server发送请求 5 api-server通过集群内部机制部署应用，需要依赖镜像的时候，从专门的镜像仓库获取。 6 基于helm部署好的应用实例，在k8s集群中，我们称之为release。

v3介绍

根据我们对 helm v2 版本的流程解析，我们发现，在客户端上部署tiller来维护 release相关的信息，有些太重量级了，所以在 helm v3 版本的时候，就剔除了专门的Tiller。在 Helm v3 中移除了 Tiller, 版本相关的数据直接存储在了 Kubernetes 中.

部署

通过官方脚本安装Helm：

也可以通过官方其他的安装方式：

案例可参考安装kubernetes-dashboard

安装完成后，可以去缓存中查看，缓存地址如下：

安装的信息：

chart包结构，里面都是资源清单信息如下：

文件信息：模版语言信息

模版中引用的数据来源：

文件夹下存在一个values.yaml，里面就是模版中引用的数据，修改自己需要的数据信息，就可以定制安装chart包

💡

Helm总结：

定位：快速部署K8s应用

结构：chart包，存在模版、属性、配置、等一整套应用所需的资源清单信息

定制：

helm install --set

修改values.yaml

发工资了

Tue, 02 Jan 2024 00:00:00 GMT

🎉发工资了

🔥

时隔多日，今天是2024年4月18日上午，早上8点55分，我，博主，2024年1月的工资发了！工资发了！发了！了！

2024年上班第一天

Tue, 02 Jan 2024 00:00:00 GMT

新年快乐🎆

春回大地，万象一新

🔥

公司还欠着我去年11月份的工资没有发😤，当然去年12月份的工资是今年1月25号发，不知道是不是依旧欠着😤

工作日常

搬砖的一天开始了！

9点了！到公司了，上上个月的工资没有发，工作热情-50%！

开始处理BUG！

11点了！去美团拼好饭，领了一个1.5的红包，开心收下！今天有辣椒炒肉丝，点它！

这会摸会鱼，写一下博客

12点了，饭到了，到楼下取餐，途中打开了TiMi 王者荣耀，又是上分的一天！

下午一点了，又要开始搬砖了！

14点了！什么时候发工资？什么时候发工资？

15点了！还不发工资？

17点了，项目上线发版！

验证中…... 完美！

悦耳！【手机铃声】5 ，4，3，2，1！我下班了蟹老板！

啊！又是平平无奇的一天！