需求

1.我们的代码编译需要用到gradle6.2版本，jdk13版本，docker in docker策略
2.因为是在CI环境中使用，所以gradle容器会因为流水线的触发，不停的启动和删除。下载jar包会非常消耗时间，我们需要持久化这些gradle缓存。
3.挂载这些gradle缓存文件到机器上，可以用ceph集群和NFS,这里我偷懒，先用NFS做，后期资源充足再换成ceph。
4.因为我们有并行流水线的可能，所以gradle容器可能一次不止一个，而gradle的caches一次只能被一个进程占用，为了避免多容器占用同一个gradle的caches，我们需要有策略。

---

已经踏过的坑

1.不能使用apline来制作gradle容器，因为我们的代码里有用到protoc，他会在gradle里安装protoc-3.10.1-linux-x86_64.exe，但是这个程序并不兼容alpine系统，最终会导致报错。报错信息如下图

2.不要使用adoptopenjdk/openjdk13:latest镜像来制作Dockerfile，这个镜像用的jdk版本是jdk13 ea版本。这个ea版本和正常的jdk13有一些细微的差点，这会导致gradle最后编译失败，报错信息如下图

3.不要直接把gradle缓存目录直接挂载进去，这会导致多任务时阻塞，同时编译失败，如下图

---

解决过程

1.创建NFS

NFS的搭建是比较简单的。在网上可以很容易搜索到教程，这里需要注意节点机器上也需要安装NFS工具，apt-get install nfs-common，不然会报错，导致K8S在这个节点上创建不了容器，因为挂载volume就失败了
我们在NFS服务器上创建一个目录，用于存放gradle的缓存

vi /etc/exports
添加
/nfsdata/gradle-cache/ *(rw,sync,no_root_squash,no_subtree_check)

2.创建gradle镜像，用于k8s中编译使用

使用Dockerfile，内容如下

FROM gradle:6.2.0-jdk13
# 因为需要docker in docker 所以这里用阿里云一键安装docker
RUN  curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
# 随意创建一个文件
RUN echo "test" > test.log
# 因为使用了私有仓库，所以之间拷贝docker配置文件进去
COPY daemon.json /etc/docker/daemon.json
# 原来的gradle命令是"jshell"这里我们替换掉，避免容器启动后，程序结束就消失
ENTRYPOINT ["tail","-f","test.log"]

docker build -t gradle_lzw .

3.使用这个gradle镜像运行起来，进行一次编译，把gradle caches拷贝出来，放到NFS中

#运行容器
docker run -d -v /var/run/docker.sock:/var/run/docker.sock gradle_lzw
# 进入容器编译代码， docker exec  -it gradle_lzw gradle XXXXX（gradle编译命令）
# 复制出缓存文件 docker cp gradle:/home/gradle/.gradle /home/temp/local/.gradle

关于gradle的缓存可以看这个https://github.com/keeganwitt/docker-gradle

4.把上一步获得的gradle缓存文件上传到NFS服务器上

scp -r root@{有gradle缓存的机器IP}:/home/temp/local/.gradle /nfsdata/gradle-cache/.

5.为了避免多容器并发占用gradle缓存目录，我们只能绕开直接挂载。我们先把缓存文件挂载到一个无用的目录中，然后再从这个目录复制到gradle指定的缓存目录中l

项目流水线配置

Jenkinsfile内容参考：

pipeline {
    agent {
        kubernetes {
            //label使用项目名称，因为不同的项目，build方式是不同的，如果错误的使用了相同的label。Jenkins就不会去读取BuildPod.yaml
            label 'jnlp-项目名称'
            //
            yamlFile 'BuildPod.yaml'
        }
    }
    stages {
        stage('build') {
         //使用gradle容器
		 container('gradle'){
		 sh '''
         //复制缓存文件
         cp -rf /opt/.gradle/caches /home/gradle/.gradle/caches
         gradle {build 命令}
          '''
          }
		}
	}
}

BuildPod.yaml配置,gradle-cache是缓存目录，dind是docker in docker的必要容器

kind: Pod
metadata:
  labels:
    some-label: some-label-value
spec:
  containers:
  - name: jnlp
    image: jenkins/jnlp-slave
    tty: true
    volumeMounts:
    - name: workspace-volume
      mountPath: /home/jenkins
  - name: gradle
    image: gradle_lzw:latest
    tty: true
    volumeMounts:
    - name: workspace-volume
      mountPath: /home/jenkins
    - name: gradle-cache
      mountPath: /opt/.gradle
    env:
    - name: DOCKER_HOST
      value: tcp://localhost:2375
  - name: dind
    image: docker:18.05-dind
    securityContext:
      privileged: true
    volumeMounts:
      - name: dind-storage
        mountPath: /var/lib/docker
  imagePullSecrets:
    - name: repok8s
  volumes:
  - name: gradle-cache
    nfs:
      server: {NFS服务器IP}
      path: "/nfsdata/gradle-cache/.gradle"
  - name: workspace-volume # pod中有一个volume让其中的多个容器共享
    emptyDir: {}
  - name: dind-storage
    emptyDir: {}