之所以不直接使用物理ARM服務(wù)器部署K8S集群，主要跟單位測(cè)試場(chǎng)景有關(guān)系，既要使用云主機(jī)透?jìng)鱃PU計(jì)算卡進(jìn)行大量的計(jì)算，又要實(shí)現(xiàn)容器管理平臺(tái)。況且國(guó)外主流的K8S集群通常是跑在虛擬機(jī)里面的，運(yùn)行在虛擬機(jī)里面的好處有很多，比如可以實(shí)現(xiàn)資源定制分配、利用云平臺(tái)API接口可以快速生成K8S集群Node節(jié)點(diǎn)、更好的靈活性以及可靠性；在ZStack ARM云平臺(tái)上可以同時(shí)構(gòu)建IaaS+PaaS混合平臺(tái)，滿足不同場(chǎng)景下的需求。

 

下面先介紹一下如何在基于ZStack For ARM平臺(tái)中云主機(jī)部署K8S集群，整個(gè)部署過(guò)程大概花1小時(shí)（主要原因是訪問(wèn)部分國(guó)外網(wǎng)絡(luò)被和諧）。

 

集群環(huán)境介紹：

主機(jī)名	角色	IP地址	配置	系統(tǒng)版本
K8S-Master	Master	172.120.194.196	8vCPU\16G內(nèi)存	Ubuntu-1804-aarch64
K8S-Node1	Node	172.120.194.197	8vCPU\16G內(nèi)存	Ubuntu-1804-aarch64
K8S-Node2	Node	172.120.194.198	8vCPU\16G內(nèi)存	Ubuntu-1804-aarch64
K8S-Node3	Node	172.120.194.199	8vCPU\16G內(nèi)存	Ubuntu-1804-aarch64

在本環(huán)境中用于構(gòu)建K8S集群所需的資源，為基于ZStack構(gòu)建的平臺(tái)上的云主機(jī)：

 

ZStack云主機(jī)K8S集群架構(gòu)

 

準(zhǔn)備工作

配置主機(jī)名

hostnamectl set-hostname K8S-Master

hostnamectl set-hostname K8S-Node1

hostnamectl set-hostname K8S-Node2

hostnamectl set-hostname K8S-Node3

 

所有云主機(jī)上關(guān)閉swap分區(qū) 否則會(huì)報(bào)錯(cuò)；該操作只需在云主機(jī)環(huán)境下執(zhí)行，物理機(jī)環(huán)境無(wú)需操作。

sudo swapoff -a  

安裝部署

安裝Docker

# step 1: 安裝必要的一些系統(tǒng)工具

sudo apt-get update

sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common

# step 2: 安裝GPG證書

curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

# Step 3: 寫入軟件源信息

sudo add-apt-repository "deb [arch=arm64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

# Step 4: 更新并安裝 Docker-CE

sudo apt-get -y update

sudo apt-get -y install docker-ce

使用daocloud對(duì)docker鏡像下載進(jìn)行加速。

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://56d10455.m.daocloud.io

安裝go環(huán)境

apt-get install golang- golang

安裝kubelet、kubeadm、kubectl

apt-get update && apt-get install -y apt-transport-https

curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

cat <

deb http://apt.kubernetes.io/ kubernetes-xenial main

EOF

apt-get update

apt-get install -y kubectl kubeadm kubectl

用kubeadm創(chuàng)建集群

初始化Master

kubeadm init --apiserver-advertise-address  172.120.194.196 --pod-network-cidr 10.244.0.0/16

執(zhí)行完上面命令后，如果中途不報(bào)錯(cuò)會(huì)出現(xiàn)類似以下信息：

  kubeadm join 172.120.194.196:6443 --token oyf6ns.whcoaprs0q7growa --discovery-token-ca-cert-hash sha256:30a459df1b799673ca87f9dcc776f25b9839a8ab4b787968e05edfb6efe6a9d2

這段信息主要是提示如何注冊(cè)其他節(jié)點(diǎn)到K8S集群。

配置kubectl

Kubectl是管理K8S集群的命令行工具，因此需要對(duì)kubectl運(yùn)行環(huán)境進(jìn)行配置。

su - zstack

sudo mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

echo "source <(kubectl completion bash)" >> ~/.bash

安裝Pod網(wǎng)絡(luò)

為了讓K8S集群的Pod之間能夠正常通訊，必須安裝Pod網(wǎng)絡(luò)，Pod網(wǎng)絡(luò)可以支持多種網(wǎng)絡(luò)方案，當(dāng)前測(cè)試環(huán)境采用Flannel模式。

先將Flannel的yaml文件下載到本地，進(jìn)行編輯，編輯的主要目的是將原來(lái)X86架構(gòu)的鏡像名稱，改為ARM架構(gòu)的。讓其能夠在ZStack ARM云環(huán)境正常運(yùn)行。修改位置及內(nèi)容參考下面文件中紅色粗體字部分。

 

sudo wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

vim kube-flannel.yml

---

kind: ClusterRole

apiVersion: rbac.authorization.k8s.io/v1beta1

metadata:

  name: flannel

rules:

  - apiGroups:

      - ""

    resources:

      - pods

    verbs:

      - get

  - apiGroups:

      - ""

    resources:

      - nodes

    verbs:

      - list

      - watch

  - apiGroups:

      - ""

    resources:

      - nodes/status

    verbs:

      - patch

---

kind: ClusterRoleBinding

 

總結(jié)

 

關(guān)于ZStack安裝部署的一些心得，整個(gè)ZStack For ARM平臺(tái)部署到業(yè)務(wù)環(huán)境構(gòu)建的過(guò)程，都是比較流暢的。ZStack產(chǎn)品化程度高，安裝過(guò)程非常簡(jiǎn)單，基本上按照官方部署文檔1個(gè)小時(shí)內(nèi)就能完成3臺(tái)規(guī)模的云平臺(tái)搭建及平臺(tái)初始化工作。

 

ZStack云平臺(tái)采用獨(dú)特的異步架構(gòu)，大大提升了平臺(tái)響應(yīng)能力，使得批量并發(fā)操作不再成為煩惱；管理層面與業(yè)務(wù)層面獨(dú)立，不會(huì)因?yàn)楣芾砉?jié)點(diǎn)意外宕機(jī)導(dǎo)致業(yè)務(wù)中斷；平臺(tái)內(nèi)置大量實(shí)用性很高的功能，極大方便了在測(cè)試過(guò)程中運(yùn)維任務(wù)；版本升級(jí)簡(jiǎn)單可靠，完全實(shí)現(xiàn)5分鐘跨版本無(wú)縫升級(jí)，經(jīng)實(shí)測(cè)升級(jí)過(guò)程中完全不影響業(yè)務(wù)正常運(yùn)行。通過(guò)升級(jí)后能實(shí)現(xiàn)異構(gòu)集群管理，也就是說(shuō)在ARM服務(wù)器上構(gòu)建管理節(jié)點(diǎn)，可以同時(shí)管理ARM集群中的資源，也能管理X86架構(gòu)集群中的資源；同時(shí)實(shí)現(xiàn)高級(jí)SDN功能。

 

而基于ZStack云主機(jī)構(gòu)建K8S集群時(shí)，我們團(tuán)隊(duì)在選擇方案的時(shí)候，也拿物理機(jī)和云主機(jī)做過(guò)一系列對(duì)比，對(duì)比之后發(fā)現(xiàn)當(dāng)我用ZStack云主機(jī)部署K8S集群的時(shí)候更加靈活、可控。歡迎大家關(guān)注交流

標(biāo)簽： Google isp linux ssl swap 服務(wù)器 網(wǎng)絡(luò) 云主機(jī)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。