Jenkins Pipeline

1.核心概念

Pipeline，简而言之，就是一套运行于Jenkins上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排与可视化。

Pipeline是Jenkins2.X的最核心的特性，帮助Jenkins实现从CI到CD与DevOps的转变

Pipeline是一组插件，让Jenkins可以实现持续交付管道的落地和实施。

持续交付管道（CD Pipeline）是将软件从版本控制阶段到交付给用户或客户的完整过程的自动化表现。软件的每一次更改（提交到源代码管理系统）都要经过一个复杂的过程才能被发布。

Pipeline提供了一组可扩展的工具，通过Pipeline Domain Specific Language（DSL）syntax可以达到Pipeline as Code（Jenkinsfile存储在项目的源代码库）的目的。

官网介绍 https://jenkins.io/doc/book/pipeline/

2. 概念

 Jenkins 2.x的精髓是Pipeline as Code，那为什么要用Pipeline呢？jenkins1.0也能实现自动化构建，但Pipeline能够将以前project中的配置信息以steps的方式放在一个脚本里，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程，形成流水式发布，构建步骤视图化。简单来说，Pipeline适用的场景更广泛，能胜任更复杂的发布流程。举个例子，job构建工作在master节点，自动化测试脚本在slave节点，这时候jenkins1.0就无法同时运行两个节点，而Pipeline可以

  • Stage: 阶段，一个Pipeline可以划分为若干个Stage，每个Stage代表一组操作。注意，Stage是一个逻辑分组的概念，可以跨多个Node。
  • Node: 节点，一个Node就是一个Jenkins节点，或者是Master，或者是slave，是执行Step的具体运行期环境。
  • Step: 步骤，Step是最基本的操作单元，小到创建一个目录，大到构建一个Docker镜像，由各类Jenkins Plugin提供。

3. 语法

1.Pipeline支持两种语法：Declarative Pipeline（在Pipeline 2.5中引入，结构化方式）和Scripted Pipeline，两者都支持建立连续输送的Pipeline。

  • 共同点：

两者都是pipeline代码的持久实现，都能够使用pipeline内置的插件或者插件提供的steps，两者都可以利用共享库扩展。

  • 区别：

两者不同之处在于语法和灵活性。Declarative pipeline对用户来说，语法更严格，有固定的组织结构，更容易生成代码段，使其成为用户更理想的选择。但是Scripted pipeline更加灵活，因为Groovy本身只能对结构和语法进行限制，对于更复杂的pipeline来说，用户可以根据自己的业务进行灵活的实现和扩展。下面举例介绍两种语法的使用。

例子: 

node{   
   // 拉取代码
   stage('Git Checkout') { 
       checkout([$class: 'GitSCM', branches: [[name: '*/master']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[credentialsId: 'de20e245-d8c2-4aca-a084-db7d48486b11', url: 'git@192.168.186.139:/home/git/tomcat-java-demo.git']]])
   }
   // 代码编译
   stage('Maven Build') {
        sh '''
        export JAVA_HOME=/usr/local/jdk
        /usr/local/maven/bin/mvn clean package -Dmaven.test.skip=true
        '''
   }
   // 项目打包到镜像并推送到镜像仓库
   stage('Build and Push Image') {
        sh '''
        REPOSITORY=192.168.186.139/library/tomcat-java-demo:${branch}
        echo '
        FROM 192.168.186.139/library/tomcat:v1
        MAINTAINER caimengzhi
        RUN rm -rf /usr/local/tomcat/webapps/*
        ADD target/*.war /usr/local/tomcat/webapps/ROOT.war
        ' > Dockerfile
        docker build -t $REPOSITORY .
        docker login 192.168.186.139 -u admin -p  Harbor12345
        docker push $REPOSITORY
        '''
   }
   // 部署到Docker主机
   stage('Deploy to Docker') {
        sh '''
        REPOSITORY=192.168.186.139/library/tomcat-java-demo:${branch}
        docker rm -f java-demo |true
        docker pull $REPOSITORY
        docker container run -d --name tomcat-java-demo -p 88:8080 $REPOSITORY
        '''
   }
}


Jenkinsfile (Scripted Pipeline)
node {  [1]
    stage('Build') { [2]
        // [3]
    }
    stage('Test') { [4]
        // [5]
    }
    stage('Deploy') { [6]
        // [7]
    }
}
  • [1]. Execute this Pipeline or any of its stages, on any available agent.
  • [2]. Defines the "Build" stage. stage blocks are optional in Scripted Pipeline syntax. However, implementing stage blocks in a Scripted Pipeline provides clearer visualization of each `stage’s subset of tasks/steps in the Jenkins UI.
  • [3]. Perform some steps related to the "Build" stage.
  • [4]. Defines the "Test" stage.
  • [5]. Perform some steps related to the "Test" stage.
  • [6]. Defines the "Deploy" stage.
  • [7]. Perform some steps related to the "Deploy" stage.

4. 简单demo

新建Pipeline Job Demo

创建完成后，点击该job —》设置 —》 Pipeline，在输入框中输入script语句。

示例script

node{
    stage('get clone'){
       //check CODE
       echo 'git clone'
    }

    stage('mvn test'){
        //mvn 测试
        echo "mvn test ......" 
    }

    stage('mvn build'){
        //mvn构建
        echo "mvn ......" 
    }

    stage('deploy'){
        //执行部署脚本
        echo "deploy ......" 
    }
}

注意：这里job执行pipeline定义，可以有两种方式，一种直接在job填写pipeline script来执行, 一种是使用pipeline script from SCM。

  • pipeline script：直接在Script输入框里面输入pipeline script语句即可，参考说明可以点击输入框下边的Pipeline Syntax，里面有很多示例操作说明，非常好用。
  • pipeline script from SCM：需要配置SCM代码存储Git地址或SVN地址，指定script文件所在路径，每次构建job会自动去指定的目录执行script文件。

点击“立即构建”，即可开始构建，右侧Stage View查看构件流程，点击每个stage，可以查看每个阶段的详细日志输出。

步骤 步骤 步骤 步骤