Comment supprimer automatiquement les tâches Kubernetes terminées créées par un CronJob ?

Question

Existe-t-il un moyen de supprimer automatiquement les travaux terminés, en dehors de la création d'un CronJob pour nettoyer les travaux terminés ?

El Documentation sur les emplois du K8s indique que le comportement prévu pour les emplois terminés est qu'ils restent dans un état terminé jusqu'à ce qu'ils soient supprimés manuellement. En effet, j'exécute des milliers de tâches par jour via CronJobs et je ne souhaite pas conserver des tâches terminées.

Answer 1

Vous pouvez maintenant définir des limites d'historique, ou désactiver l'historique complètement, de sorte que les CronJobs échoués ou réussis ne soient pas conservés indéfiniment. Voir ma réponse aquí . La documentation est aquí .

Pour régler le limites de l'histoire :

El .spec.successfulJobsHistoryLimit y .spec.failedJobsHistoryLimit sont facultatifs. Ces champs spécifient le nombre de travaux terminés et échoués qui doivent être conservés. Par défaut, ils sont définis respectivement sur 3 et 1. En fixant une limite à 0 correspond à ne garder aucun des types de travaux correspondants après leur fin.

La configuration avec 0 limite ressemblerait à ceci :

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: hello
spec:
  schedule: "*/1 * * * *"
  successfulJobsHistoryLimit: 0
  failedJobsHistoryLimit: 0
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: hello
            image: busybox
            args:
            - /bin/sh
            - -c
            - date; echo Hello from the Kubernetes cluster
          restartPolicy: OnFailure

Answer 2

Ceci est possible à partir de la version 1.12 Alpha avec ttlSecondsAfterFinished . Un exemple de Nettoyer automatiquement les travaux terminés :

apiVersion: batch/v1
kind: Job
metadata:
  name: pi-with-ttl
spec:
  ttlSecondsAfterFinished: 100
  template:
    spec:
      containers:
      - name: pi
        image: perl
        command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(2000)"]
      restartPolicy: Never

Answer 3

J'ai récemment construit un kubernetes-operator pour effectuer cette tâche.

Après le déploiement, il surveillera l'espace de noms sélectionné et supprimera les travaux/pods terminés s'ils se sont déroulés sans erreur/redémarrage.

https://github.com/lwolf/kube-cleanup-operator

Answer 4

Comme indiqué dans la documentation "C'est à l'utilisateur de supprimer les anciens travaux", cf. http://kubernetes.io/docs/user-guide/jobs/#job-termination-and-cleanup

Je lancerais un pod pour faire ce nettoyage en fonction du nom du travail et de certaines conditions, laissant ainsi kubernetes s'occuper au moins de la disponibilité de votre processus ici. Vous pourriez exécuter une tâche récurrente pour cela (en supposant que vous utilisez Kubernetes 1.5).

Answer 5

Un moyen simple de les supprimer consiste à exécuter une tâche cron :

kubectl get jobs --all-namespaces | sed '1d' | awk '{ print $2, "--namespace", $1 }' | while read line; do kubectl delete jobs $line; done