CentOS 7 使用kubeadm 部署 Kubernetes-白红宇

CentOS 7 使用kubeadm 部署 Kubernetes

阅读量：6426 次

发布时间：2019-06-23

本文共 9063 字，大约阅读时间需要 30 分钟。

关闭swap

执行swapoff临时关闭swap。

重启后会失效，若要永久关闭，可以编辑/etc/fstab文件，将其中swap分区一行注释掉

#/dev/mapper/centos-swap swap                    swap    defaults        0 0

安装配置docker

可以参考

1. 安装docker

$ yum install yum-utils device-mapper-persistent-data lvm2$ yum-config-manager \    --add-repo \    https://download.docker.com/linux/centos/docker-ce.repo$ yum update && yum install docker-ce-18.06.2.ce

2. docker配置

创建文件/etc/docker/daemon.json, 写入下面的内容。

{  "exec-opts": ["native.cgroupdriver=systemd"],  "log-driver": "json-file",  "log-opts": {    "max-size": "100m"  },  "storage-driver": "overlay2",  "storage-opts": [    "overlay2.override_kernel_check=true"  ]}

若在国内部署，可以使用国内的docker源加快拉取速度，/etc/docker/daemon.json中加入国内源。

{  "exec-opts": ["native.cgroupdriver=systemd"],  "log-driver": "json-file",  "log-opts": {    "max-size": "100m"  },  "storage-driver": "overlay2",  "storage-opts": [    "overlay2.override_kernel_check=true"  ],  "registry-mirrors": [    "https://registry.docker-cn.com"  ]}

3. 重启docker

mkdir -p /etc/systemd/system/docker.service.dsystemctl daemon-reloadsystemctl restart docker

安装kubeadm, kubelet和kubectl

1. 添加yum仓库

如果节点在国内，可以使用国内镜像仓库，这里使用了阿里云的，创建/etc/yum.repos.d/kubernetes.repo，文件如下内容

[kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

如果在国外，可以使用谷歌官方镜像仓库，文件内容如下

[kubernetes]name=Kubernetesbaseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpgexclude=kube*

2. 关闭SELinux

kubelet不支持SELinux, 这里需要将SELinux设置为permissive模式

$ setenforce 0$ sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

3. 安装 kubelet, kubectl和kubeadm

$ yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes$ systemctl enable --now kubelet

4. 配置sysctl

在RHEL/CentOS 7上由于 iptables 被绕过导致网络请求被错误的路由。您得保证在您的 sysctl 配置中 net.bridge.bridge-nf-call-iptables 被设为1。

创建文件/etc/sysctl.d/k8s.conf，文件内容如下

net.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1

执行sysctl --system使配置生效

5. 拉取镜像

如果节点在国外，可以跳过这一步。

执行kubeadm config images pull查看到gcr.io的连接，如果拉取成功可以进入下一步。

如果失败，。这时需要手动拉取镜像，可以执行下面的脚本，从阿里云拉取相应镜像。

#!/bin/bashimages=(    kube-apiserver:v1.13.4    kube-controller-manager:v1.13.4    kube-scheduler:v1.13.4    kube-proxy:v1.13.4    pause:3.1    etcd:3.2.24    coredns:1.2.6)for imageName in ${images[@]} ; do    docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName    docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$imageName k8s.gcr.io/$imageNamedone

也可以在国外的vps上拉取相应的镜像，执行docker save保存为tar文件，复制到需要的节点上，docker load加载，然后通过docker tag恢复镜像的tag。

执行kubeadm config images list可以查看所需镜像

安装pod网络插件

这里使用flannel

$ yum insatll flanneld

初始化集群的master

1. kubeadm init初始化

可以先通过kubeadm config images pull确认镜像拉取成功。

通过kubeadm init <args>初始化。由于这里使用了flannel作为网络插件，在初始化时需要加入--pod-network-cidr=10.244.0.0/16指定网络。如果不适用默认的

kubeadm init --pod-network-cidr=10.244.0.0/16

初始化成功后，会输出下面的信息

Your Kubernetes master has initialized successfully!To start using your cluster, you need to run the following as a regular user:  mkdir -p $HOME/.kube  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config  sudo chown $(id -u):$(id -g) $HOME/.kube/configYou should now deploy a pod network to the cluster.Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:  https://kubernetes.io/docs/concepts/cluster-administration/addons/You can now join any number of machines by running the following on each nodeas root:  kubeadm join 
    
     :
     
       --token 
      
        --discovery-token-ca-cert-hash sha256:

注意这里最后一行的kubeadm join .....，在其他节点执行此行命令，使节点加入到集群中。

如果使用非root账户操作kubectl，则需执行如下命令

mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config

2. 部署`flannel`

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

通过kubectl get nodes查看节点，如果看到master节点表示安装成功。

$ kubectl get nodesNAME       STATUS   ROLES    AGE   VERSIONhost-168   Ready    master   41h   v1.13.4

将其他节点加入到集群中

只有master需要执行kubeadm init初始化，其他node节点通过执行kubeadm join加入到集群中

命令及参数采用kubeadm init时的输出，示例如下

kubeadm join --token 
     
     
      :
      
        --discovery-token-ca-cert-hash sha256:

这里的toke有效期只有24小时，如果过期在master上执行kubeadm create token创建新的token。

执行kubectl get nodes查看node节点

$ kubectl get nodesNAME       STATUS   ROLES    AGE   VERSIONhost-167   Ready    
    
        41h   v1.13.4host-168   Ready    master   41h   v1.13.4

集群中的master和node节点的hostname不能重复，否则会加入集群失败。如果重复，可以通过hostnamectl set-hostname NAME修改节点的hostname

安装Web界面(可选)

安装kuberenets-dashboard后可以通过浏览器查看/更改集群

1. 拉取镜像

和前述相同，需要node节点拉取下面几个镜像。国内节点需要从阿里云拉取或者从国外节点拉取后传到节点再加载

k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1gcr.io/google_containers/kube-proxy-amd64:v1.9.8 k8s.gcr.io/pause:3.1gcr.io/google_containers/pause-amd64:3.0

2. 部署dashboard

获取yaml配置文件

$ wget https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml

kubernetes-dashboard默认需要通过kubectl proxy来访问，但是这时使用的是HTTP，在HTTP下访问dashboard时即使登录成功,也会卡在登录页面。可以选择让dashboard直接监听外部端口，不经过kubectl proxy的代理。

为此可以在kubernets-dashboard.yaml最后一栏，Dashboard Service中，增加了type: NodePort和nodePort: 30001，更改后的结果如下所示。（这里30001端口也可以更改）

# ------------------- Dashboard Service ------------------- #kind: ServiceapiVersion: v1metadata:  labels:    k8s-app: kubernetes-dashboard  name: kubernetes-dashboard  namespace: kube-systemspec:  type: NodePort  ports:    - port: 443      targetPort: 8443      nodePort: 30001  selector:    k8s-app: kubernetes-dashboard部署dashboard

通过kubectl部署dashboard

$ kubectl apply -f kubernets-dashboard.yaml

访问https://nodeIP:30001，出现登录界面表示成功。这里的证书不被浏览器信任，chrome无法访问的话，可以用firefox打开。

3. 创建admin用户来访问dashboard

这里为了简单，创建了一个admin账户用来登录

新建文件dashboard-adminuser.yaml，内容如下

apiVersion: v1kind: ServiceAccountmetadata:  name: admin-user  namespace: kube-system  apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata:  name: admin-userroleRef:  apiGroup: rbac.authorization.k8s.io  kind: ClusterRole  name: cluster-adminsubjects:- kind: ServiceAccount  name: admin-user  namespace: kube-system

在master上执行kubectl apply -f dashboard-adminuser.yaml创建admin用户及role绑定。

获取token

kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}')

输出如下所示

Name:         admin-user-token-6gl6lNamespace:    kube-systemLabels:       
    
     Annotations:  kubernetes.io/service-account.name=admin-user              kubernetes.io/service-account.uid=b16afba9-dfec-11e7-bbb9-901b0e532516Type:  kubernetes.io/service-account-tokenData====ca.crt:     1025 bytesnamespace:  11 bytestoken:      eyJhbGciOiJSUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLTZnbDZsIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiJiMTZhZmJhOS1kZmVjLTExZTctYmJiOS05MDFiMGU1MzI1MTYiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06YWRtaW4tdXNlciJ9.M70CU3lbu3PP4OjhFms8PVL5pQKj-jj4RNSLA4YmQfTXpPUuxqXjiTf094_Rzr0fgN_IVX6gC4fiNUL5ynx9KU-lkPfk0HnX8scxfJNzypL039mpGt0bbe1IXKSIRaq_9VW59Xz-yBUhycYcKPO9RM2Qa1Ax29nqNVko4vLn1_1wPqJ6XSq3GYI8anTzV8Fku4jasUwjrws6Cn6_sPEGmL54sq5R4Z5afUtv-mItTmqZZdxnkRqcJLlg2Y8WbCPogErbsaCDJoABQ7ppaqHetwfM_0yMun6ABOQbIwwl8pspJhpplKwyo700OSpvTT9zlBsu-b35lzXGBRHzv5g_RA

在dashboard登录界面，选择令牌，将上面输出的token粘贴到输入框，点击登录就可以已admin登入。

常见问题

node节点kubeadm join成功，master上看不到

可以查看node节点的hostname是否于集群内其他节点重复，重复的话通过hostnamectl修改

node节点一直处于NotReady状态

查看节点是否安装了flannel，没有需要安装。

通过systemctl status kubelet查看运行日志中的错误信息。

cni.go:213] Unable to update cni config: No networks found in /etc/cni/net.d3月 31 17:50:00 host-166 kubelet[19833]: E0331 17:50:00.085663   19833 kubelet.go:2170] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

类似上面的报错，应该是flannel没有安装或者找不到flannel的配置，可以手动将master的/etc/cni/net.d/10-flannel.conflist文件手动复制到node节点相应目录下。如果拉取镜像失败，则可以手动拉取。

dashboard卡在登录界面

确保浏览器通过https访问dashboard。

token过期导致kubeadm join时失败

执行kubeadm join时报错如下。

[preflight] Reading configuration from the cluster...[preflight] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml'error execution phase preflight: unable to fetch the kubeadm-config ConfigMap: failed to get config map: Unauthorized

这是因为kubeadm生成的token默认24小时过期，在master上执行kubeadm token create创建新的token，替换kubeadm join --token XXX中的token即可

转载于:https://my.oschina.net/u/2539854/blog/3023384

你可能感兴趣的文章

比量iOS6/iOS7, 3.5inch/4.0inch

查看>>

MarkdownPad Win10 无法预览

查看>>

GPUImage简单滤镜使用之色阶（三）