Kubenetes部署
一、简介
Kubernetes是Google 2014年创建管理的，是Google 10多年大规模容器管理技术Borg的开源版本。它是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。
通过Kubernetes你可以：
- 快速部署应用
- 快速扩展应用
- 无缝对接新的应用功能
- 节省资源，优化硬件资源的使用
Kubernetes 特点:
- 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud）
- 可扩展: 模块化, 插件化, 可挂载, 可组合
- 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展
二、快速搭建
1. 安装要求
- 在开始之前，部署Kubernetes集群机器需要满足以下几个条件：
- 3台以上机器，操作系统 CentOS7.7以上64位系统
- 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多
- 集群中所有机器之间网络互通
- 可以访问外网，需要拉取镜像
- 禁止swap分区
2. 部署内容
- kubernetes1.16.2版本，docker19.03版本
- 在所有节点上安装Docker和kubeadm，kubenet
- 部署Kubernetes Master
- 部署容器网络插件
- 部署 Kubernetes Node，将节点加入Kubernetes集群中
3. 准备环境
这里我准备了三台机器
centos版本不要太低否者可能会出问题（最好7.7以上）
ip: 10.0.1.176 主机名：test-docker-176 系统：centos7.7 配置：8核8G ip: 10.0.1.177 主机名：test-docker-177 系统：centos7.7 配置：8核8G ip: 10.0.1.178 主机名：test-docker-178 系统：centos7.7 配置：8核8G
三台主机都需要执行如下命令
关闭防火墙和selinux
systemctl stop firewalld systemctl disable firewalld sed -i 's/enforcing/disabled/' /etc/selinux/config setenforce 0
关闭swap分区
swapoff -a # 临时关闭
vim /etc/fstab # 注释到swap那一行 永久关闭
添加主机名与IP对应关系(三台主机都执行)
echo ''' 10.0.1.176 k8s-master-176 10.0.1.177 k8s-node-177 10.0.1.178 k8s-node-178 ''' >> /etc/hosts
各自修改主机名（从176-178各自顺序执行）
cat > /etc/sysctl.d/k8s.conf << EOF net.ipv4.ip_forward = 1 net.ipv4.tcp_tw_recycle = 0 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system
所有机器升级内核到最新
1、安装源
| 1 |
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
|
2、安装内核
| 1 |
yum --enablerepo=elrepo-kernel install -y kernel-lt
|
3、设置最新内核启动
3.1、查询
| 1 |
cat /boot/grub2/grub.cfg |grep menuentry
|
3.2、设置默认新内核启动
| 1 |
grub2-set-default |
3.3、重启设备，使内核生效
init 6
4. 所有节点安装Docker/kubeadm/kubelet
Docker安装
注意：这里docker最好安装19.03.9版本，防止集成到k8s出现bug，这里我出现过k8s监控服务无法获取资源信息
依赖安装：
yum install -y yum-utils device-mapper-persistent-data lvm2
-阿里源安装：
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
docker安装：
yum install docker-ce # 安装指定版本，例如yum install -y docker-ce-19.03.9
启动并加入开机自启
systemctl start docker systemctl enable docker
修改docker数据存放目录位置（默认目录是/var/lib/docker，这里防止/目录满我修改到数据盘内）和镜像加速
vim /etc/docker/daemon.json
{
"graph": "/data/docker",
"registry-mirrors": ["https://01xxgaft.mirror.aliyuncs.com"]
}
重启docker载入新配置：
systemctl restart docker
Docker配置修改，设置cgroup驱动，这里用systemd
配置修改为如下
vim /etc/docker/daemon.json
{
"graph": "/data/docker",
"registry-mirrors": ["https://01xxgaft.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2"
}
重启docker
systemctl restart docker
5. 添加k8s阿里云YUM软件源
所有机器执行
cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF
安装kubeadm，kubelet和kubectl
所有机器执行
yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2 systemctl start kubelet systemctl enable kubelet
6. 部署k8s的master和node节点
部署master节点，在10.0.1.176执行
初始化master节点
kubeadm init --apiserver-advertise-address=10.0.1.176 --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.16.0 --service-cidr=10.140.0.0/16 --pod-network-cidr=10.240.0.0/16
网段问题，两个网段不要重，后面是/16，不要与当前机器网段一样
这里执行完会生成一串命令用于node节点的加入，记录下来，接着执行以下命令
mkdir -p $HOME/.kube cp -i /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config
部署node节点，在10.0.1.177和178执行
这里复制上面生成的一串命令，我这里只是示例，命令根据你实际生成的复制去node节点执行
kubeadm join 10.0.1.176:6443 --token 1146ci.3elqkwg3b2sdqp6l --discovery-token-ca-cert-hash sha256:3562d07fbe47d39ddc04c9170464e2699f1328c08ded2bb0198bde9a55ce8e5e
7. 安装网络插件（CNI）
下面两种插件二选一，master上执行
wget不下来，就将199.232.68.133 raw.githubusercontent.com 放到hosts内(该服务器在国外，所以经常访问不到，回头把yml文件贴上)
安装calico插件（用于复杂网络环境）
下载yaml文件
wget http://download.stisd.cn/k8s/calico-3.9.2.yaml
修改配置文件的网段为上面init pod-network-cidr的网段地址（必须正确否则会导致集群网络问题）
sed -i 's/192.168.0.0/10.240.0.0/g' calico-3.9.2.yaml
修改完安装插件，执行
kubectl apply -f calico.yaml kubectl get pod --all-namespaces -o wide