Kubernetes离线安装的本地yum源构建

一、需求场景

在K8S的使用过程中有时候会遇到在一些无法上网的机器上面安装使用K8S，这就引出了K8S的离线安装的问题，要如何进行离线安装呢？

二、基本思路

1、在可以连接外网的机器，通过yum install --downloadonly --downloaddir=/...命令将rpm以及相关的依赖下载完成
2、将下载完成的所有rpm包，拷贝到局域网机器上面的一个目录下
3、构建本地yum源
4、使用yum install ***安装，安装完成

三、离线安装包下载

提示：yum提供了一种只下载安装包，但是不进行安装的方法： yum install --downloadonly --downloaddir=.....

1、针对yum update离线安装包下载：

mkdir -p /opt/images/yum.rpm/update

sudo yum update --downloadonly --downloaddir=/opt/images/yum.rpm/update


2、针对 yum install -y yum-utils device-mapper-persistent-data lvm2

mkdir -p /opt/images/yum.rpm/base

sudo yum install --downloadonly --downloaddir=/opt/images/yum.rpm/base yum-utils
sudo yum install --downloadonly --downloaddir=/opt/images/yum.rpm/base device-mapper-persistent-data
sudo yum install --downloadonly --downloaddir=/opt/images/yum.rpm/base lvm2


3、针对yum install -y docker-ce-18.06.1.ce-3.el7

mkdir -p /opt/images/yum.rpm/docker-ce

sudo yum install --downloadonly --downloaddir=/opt/images/yum.rpm/docker-ce docker-ce-18.06.1.ce-3.el7


4、针对yum install -y kubectl-1.18.2 kubelet-1.18.2 kubeadm-1.18.2

mkdir -p /opt/images/yum.rpm/kubernetes

sudo yum install --downloadonly --downloaddir=/opt/images/yum.rpm/kubernetes kubectl-1.18.2
sudo yum install --downloadonly --downloaddir=/opt/images/yum.rpm/kubernetes kubelet-1.18.2
sudo yum install --downloadonly --downloaddir=/opt/images/yum.rpm/kubernetes kubeadm-1.18.2


5、从本地虚拟环境下载到windows:

>pscp -r -l root -pw maosheng123 192.168.18.181:/opt/images/yum.rpm/* C:\my_software\CentOS\k8s-install\rpm\


6、从windows上传到K8S环境:

1）K8S环境创建目录：
mkdir -p /opt/local_yum

2）windows上传rpm文件:
>pscp C:\my_software\CentOS\k8s-install\rpm\update\* root@192.101.11.233:/opt/local_yum
>pscp C:\my_software\CentOS\k8s-install\rpm\base\* root@192.101.11.233:/opt/local_yum
>pscp C:\my_software\CentOS\k8s-install\rpm\docker-ce\* root@192.101.11.233:/opt/local_yum
>pscp C:\my_software\CentOS\k8s-install\rpm\kubernetes\* root@192.101.11.233:/opt/local_yum

提示：
1、统计文件夹下文件个数，包括子文件
ls -lR | grep "^-"| wc -l

2、统计文件夹下目录个数，包括子目录
ls -lR | grep "^d"| wc -l


四、构建本地yum源

1、构建本地源之前，需要在本地安装createrepo，用于构建本地源:

检查是否安装：
rpm -qa | grep createrepo

yum 安装 createrepo：
# yum -y install createrepo

提示：如果yum install 安装不了 createrepo，下载createrepo离线安装包rpm文件，执行：2、通过rpm -ivh进行安装

sudo yum install --downloadonly --downloaddir=/opt/images/yum.rpm/base createrepo

2、通过rpm -ivh进行安装:
安装rpm文件：
rpm -ivh createrepo-0.9.9-28.el7.noarch.rpm

检查是否安装：
rpm -qa | grep createrepo


附录：rpm用法说明

【RPM安装】
rpm -ivh 包全名（查询依赖网址：http://www.rpmfind.net）
     -i(install)：安装
     -v(verbose)：显示详细信息
     -h(hash)：显示进度
     --nodeps：不检测依赖性

【RPM包升级】
rpm -Uvh 包全名（可替代安装）
     -U（upgrade）：升级
     -v(verbose)：显示详细信息
     -h(hash)：显示进度

【RPM包卸载】
rpm -e 包名（只能跟包名，不能跟包全名，可在任何目录执行）
     -e（erase）：卸载
     --nodeps：不检查依赖性

【RPM包查询】
rpm -q 包名：查询包是否安装

rpm -qa：查询所有已安装的RPM包

rpm -qa | grep httpd：查询匹配

rpm -qi 包名
   
    -q：使用询问模式，当遇到任何问题时，rpm指令会先询问用户
    -a：查询所有套件
    -i（information）：查询软件信息
   
rpm -ql 包名：查询包中文件安装位置

    -q：使用询问模式，当遇到任何问题时，rpm指令会先询问用户
    -l：显示套件的文件列表；

rpm -qf 系统文件名：查询系统文件属于哪个RPM包

    -f（file） ：查询拥有指定文件的套件


3、使用 createrepo 创建 yum 仓库:

提示：进入到*.rpm所在的目录
cd /opt/local_yum
createrepo -v -o ./ .

查看生成元数据
ll

提示：如果增加了新的rpm文件，需要更新本地源：
createrepo --update /opt/local-yum/

有时候你的软件仓库中含有很多的软件包，虽然只是其中的一小部分有所改动但是你却不必为每个软件包重新产生元数据，这样做明显太浪费时间了。这就是--update 选项的作用。
现在 createrepo 只更新那些在上次产生元数据之后被改变，添加或者删除了的项目.


4、利用仓库创建本地 yum 源:
备份并删除/etc/yum.repo.d目录下文件，创建新的local.repo文件并进行配置
touch local.repo
vi local.repo
[local]
name=local
baseurl=file:///opt/local_yum
gpgcheck=0
enabled=1

解释：
[....]     代表这个库的名字，必须是唯一的，不可以重复。
name＝     是这个库的说明，没有太大的实际意义，只是一个字段说明。
baseurl＝  说明采取什么方式传输，具体路径在哪里，可以使用的方式有,file://，ftp://，http://等。
enabled=1  说明启用这个更新库，0表示不启用。
gpgcheck=1 表示使用gpg文件来检查软件包的签名，设置为0，则不需要认证签名。
gpgkey=    表示gpg文件所存放的位置，此处也可以有http方式的位置。

5、清除缓存:
yum clean all

6、创建缓存:
yum makecache

7、查看构建的本地源:
yum list | grep local

yum repolist


五、升级更新系统（切记升级一下，曾被坑过）
$ yum -y update

提示：如出现 错误：保护多库版本
yum -y  update  --setopt=protected_multilib=false


六、安装docker

1、Docker安装

# step 1: 安装必要的一些系统工具
$ yum install -y yum-utils device-mapper-persistent-data lvm2

Step 2: 查找Docker-CE的版本:
$ yum list docker-ce.x86_64 --showduplicates | sort -r

Step 3: 安装指定版本的Docker-CE
$ yum makecache fast       ##命令是将软件包信息提前在本地缓存一份，用来提高搜索安装软件的速度
$ yum install -y docker-ce-18.06.1.ce-3.el7

Step 4: 设置开机启动，并启动Docker
$ systemctl enable docker && systemctl start docker
$ systemctl status docker
$ docker version
Client:
Version:           18.06.1-ce
API version:       1.38
Go version:        go1.10.3
Git commit:        e68fc7a
Built:             Tue Aug 21 17:23:03 2018
OS/Arch:           linux/amd64
Experimental:      false

Server:
Engine:
  Version:          18.06.1-ce
  API version:      1.38 (minimum version 1.12)
  Go version:       go1.10.3
  Git commit:       e68fc7a
  Built:            Tue Aug 21 17:25:29 2018
  OS/Arch:          linux/amd64
  Experimental:     false

2、Docker配置

kubelet的启动环境变量要与docker的cgroup-driver驱动一样

$ docker info | grep -i cgroup

docker的cgroup-driver是cgroupfs,而k8s默认是systemd，所以修改docker的cgroup-driver为systemd

修改docker的配置文件，目前k8s推荐使用的docker文件驱动是systemd，按照k8s官方文档可查看如何配置

$ vim /etc/docker/daemon.json
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "registry-mirrors": [
"https://p0yeshlc.mirror.aliyuncs.com"
  ],
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ]
}

改下防火墙forward链路规则，在/usr/lib/systemd/system/docker.service，增加：
ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT
或者
sed -i '20i ExecStartPost=/usr/sbin/iptables -P FORWARD ACCEPT' /usr/lib/systemd/system/docker.service

3、Docker启动

# 启动服务
$ systemctl daemon-reload  && systemctl restart docker && systemctl enable docker
$ systemctl start docker
$ systemctl enable docker

# 查看状态
$ systemctl status docker
# 查看版本
$ docker version
Client:
Version:           18.06.1-ce
API version:       1.38
Go version:        go1.10.3
Git commit:        e68fc7a
Built:             Tue Aug 21 17:23:03 2018
OS/Arch:           linux/amd64
Experimental:      false

Server:
Engine:
  Version:          18.06.1-ce
  API version:      1.38 (minimum version 1.12)
  Go version:       go1.10.3
  Git commit:       e68fc7a
  Built:            Tue Aug 21 17:25:29 2018
  OS/Arch:          linux/amd64
  Experimental:     false


七、安装kubeadm，kubelet和kubectl

1、安装

$ yum install -y kubectl-1.18.2 kubelet-1.18.2 kubeadm-1.18.2
$ yum list installed
$ systemctl enable kubelet

[
如重新安装，卸载：
rpm -qa | grep kube
yum remove kubeadm-1.18.2-0.x86_64
]


##查看需要的镜像版本
$ kubeadm config images list   
k8s.gcr.io/kube-apiserver:v1.18.2
k8s.gcr.io/kube-controller-manager:v1.18.2
k8s.gcr.io/kube-scheduler:v1.18.2
k8s.gcr.io/kube-proxy:v1.18.2
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.7


后续初始化等操作请参考 《kubeadm方式部署安装kubernetes》： https://www.iteye.com/blog/maosheng-2515934



yum工具介绍

yum工具有很多的参数可供使用,如下：

        yum install 软件名1 [软件名2] [...]
        yum update [软件名1][软件名2] [...]
        yum check-update
        yum upgrade [软件1] [软件2] [...]
        yum remove | erase 软件名1 [软件名2] [...]
        yum list [...]
        yum info [...]
        yum provides | whatprovides feature1 [feature2] [...]
        yum clean [ packages | headers | metadata | dbcache | all ]
        yum makecache
        yum groupinstall 软件组1 [软件组2] [...]
        yum groupupdate 软件组1 [软件组2] [...]
        yum grouplist [hidden] [groupwildcard] [...]
        yum groupremove group1 [group2] [...]
        yum groupinfo 软件组名 [...]
        yum search 字符串1 [字符串2] [...]
        yum shell [文件名]
        yum resolvedep 依赖关系1 [依赖关系2] [...]
        yum localinstall rpm包1 [rpm包2] [...]
        yum localupdate rpm包1 [rpm包2] [...]
        yum reinstall 软件包1 [软件包2] [...]
        yum downgrade 软件包1 [软件包2] [...]
        yum deplist 软件包1 [软件包2] [...]
        yum repolist [all|enabled|disabled]
        yum help [command]

以上就是yum全部的可用参数了，自动分析依赖性关系是它最好的一个特点，也是目前最方便的安装方法。