Exécution des étapes en parallèle avec le workflow / pipeline de Jenkins

Question

Veuillez noter: la question est basée sur l'ancien format de pipeline, maintenant appelé format "scripté". Lors de l'utilisation de "pipelines déclaratifs", des blocs parallèles peuvent être imbriqués à l'intérieur de blocs de stage (voir Stages parallèles avec Declarative Pipeline 1.2).

Je me demande comment les étapes parallèles sont censées fonctionner avec le plugin workflow/pipeline de Jenkins, en particulier comment les mélanger avec des étapes de construction. Je connais le modèle général:

parallel(firstTask: {
  // Faire quelque chose
}, secondTask: {
  // Faire autre chose en parallèle
})

Cependant, j'aimerais exécuter plusieurs étapes en parallèle (sur le même nœud, qui possède plusieurs exécuteurs), donc j'ai essayé d'ajouter des étapes comme ceci:

stage 'A'
// Faire quelques préparations

parallel(firstTask: {
  stage 'B1'
  // Faire quelque chose
}, secondTask: {
  stage 'B2'
  // Faire autre chose en parallèle
})

stage 'C'
// Finaliser

Cela ne fonctionne pas comme prévu. Les tâches "faire quelque chose" sont exécutées en parallèle, mais les étapes parallèles se terminent immédiatement et n'incorporent pas le contenu qu'elles devraient contenir. Par conséquent, la vue d'étape ne montre pas le résultat correct et ne lie pas non plus les journaux.

Puis-je construire différentes étapes en parallèle, ou l'étape "parallel" est-elle seulement censée être utilisée dans un seul stage?

Answer 1

Vous ne pouvez pas placer le stage déprécié (comme dans la question d'origine) à l'intérieur de parallel.

À partir de JENKINS-26107, stage prend un argument de bloc. Vous pouvez mettre parallel à l'intérieur de stage ou stage à l'intérieur de parallel ou stage à l'intérieur de stage etc. Cependant, les visualisations de la construction ne garantissent pas de prendre en charge toutes les imbrications; en particulier

• Les étapes du pipeline intégrées (une liste "arborescente" de chaque étape exécutée par la construction) affichent un enchevêtrement arbitraire de stage.
• Le plugin Pipeline Stage View n'affichera actuellement qu'une liste linéaire des étapes, dans l'ordre où elles ont commencé, indépendamment de la structure d'imbrication.
• Blue Ocean affichera les étapes de premier niveau, ainsi que les branches parallel à l'intérieur d'une étape de premier niveau, mais actuellement pas plus.

JENKINS-27394, si implémenté, affichera des stages imbriqués de manière arbitraire.

Answer 2

Cette syntaxe est maintenant obsolète, vous obtiendrez cette erreur :

org.codehaus.groovy.control.MultipleCompilationErrorsException: démarrage échoué:
WorkflowScript: 14: Un étage est attendu @ ligne 14, colonne 9.
       parallel firstTask: {
       ^

WorkflowScript: 14: L'étage n'a pas de nom @ ligne 14, colonne 9.
       parallel secondTask: {
       ^

2 erreurs

Vous devriez faire quelque chose comme :

stage("Parallel") {
    steps {
        parallel (
            "firstTask" : {
                //faire quelque chose
            },
            "secondTask" : {
                // Faire quelque chose d'autre en parallèle
            }
        )
    }
}

Juste pour ajouter l'utilisation de node ici, pour distribuer les tâches sur plusieurs serveurs de build/ VMs :

pipeline {
  stages {
    stage("Work 1"){
     steps{
      parallel ( "Build common Library":   
            {
              node(''){
                  /// votre contenu
                  }
            },

        "Build Utilities" : {
            node(''){
               /// votre contenu
              }
           }
         )
    }
}

Toutes les VMs doivent être étiquetées comme pour les utiliser comme un pool.

Answer 3

J'ai juste testé le pipeline suivant et cela fonctionne

parallel firstBranch: {
    stage ('Starting Test') 
    {
        build job: 'test1', parameters: [string(name: 'Environment', value: "$env.Environment")]
    }
}, secondBranch: {
    stage ('Starting Test2') 
    {
        build job: 'test2', parameters: [string(name: 'Environment', value: "$env.Environment")]
    }
}

Ce job nommé 'trigger-test' accepte un paramètre nommé 'Environment'

Les jobs 'test1' et 'test2' sont des jobs simples :

Exemple pour 'test1'

• Un paramètre nommé 'Environment'
• Pipeline : echo "$env.Environment-TEST1"

Lors de l'exécution, je peux voir les deux étapes s'exécutant en même temps

Answer 4

Je pense que cela a été officiellement implémenté maintenant : https://jenkins.io/blog/2017/09/25/declarative-1/

Answer 5

Comme mentionné par @Quartz, vous pouvez faire quelque chose comme

stage('Tests') {
    parallel(
        'Unit Tests': {
            container('node') {
                sh("npm test --cat=unit")
            }
        },
        'API Tests': {
            container('node') {
                sh("npm test --cat=acceptance")
            }
        }
    )
}