Verrouillage d'un fichier en Python

Question

J'ai besoin de verrouiller un fichier pour l'écrire en Python. Il sera accessible à partir de plusieurs processus Python à la fois. J'ai trouvé quelques solutions en ligne, mais la plupart d'entre elles ne répondent pas à mes besoins car elles ne sont souvent basées que sur Unix ou Windows.

Answer 1

D'accord, donc j'ai fini par utiliser le code que j'ai écrit ici, sur mon site web le lien est mort, voir sur archive.org ( également disponible sur GitHub ). Je peux l'utiliser de la manière suivante :

from filelock import FileLock

with FileLock("myfile.txt.lock"):
    print("Lock acquired.")
    with open("myfile.txt"):
        # work with the file as it is now locked

Answer 2

Il existe un module de verrouillage de fichiers multiplateforme ici : Portalocker

Bien que, comme le dit Kevin, écrire dans un fichier à partir de plusieurs processus à la fois est quelque chose que vous voulez éviter si possible.

Si vous pouvez transposer votre problème dans une base de données, vous pouvez utiliser SQLite. Il prend en charge les accès concurrents et gère son propre verrouillage.

Answer 3

Je préfère fichier de verrouillage - Verrouillage des fichiers indépendant de la plate-forme

Answer 4

Le verrouillage est spécifique à la plate-forme et au dispositif, mais en général, vous avez quelques options :

1. Utilisez flock(), ou un équivalent (si votre système d'exploitation le supporte). C'est un verrouillage consultatif, à moins que vous ne vérifiiez le verrouillage, il est ignoré.
2. Utilisez une méthodologie de verrouillage-copie-déplacement-déverrouillage, où vous copiez le fichier, écrivez les nouvelles données, puis le déplacez (déplacer, pas copier - déplacer est une opération atomique sous Linux - vérifiez votre système d'exploitation), et vous vérifiez l'existence du fichier verrouillé.
3. Utiliser un répertoire comme "verrou". Ceci est nécessaire si vous écrivez sur NFS, puisque NFS ne supporte pas flock().
4. Il est également possible d'utiliser la mémoire partagée entre les processus, mais je n'ai jamais essayé ; c'est très spécifique au système d'exploitation.

Pour toutes ces méthodes, vous devrez utiliser une technique de verrouillage par rotation (réessayer après un échec) pour acquérir et tester le verrouillage. Cela laisse une petite fenêtre pour une mauvaise synchronisation, mais elle est généralement assez petite pour ne pas être un problème majeur.

Si vous recherchez une solution multiplateforme, il est préférable de vous connecter à un autre système via un autre mécanisme (la meilleure solution suivante est la technique NFS ci-dessus).

Notez que sqlite est soumis aux mêmes contraintes sur NFS que les fichiers normaux, donc vous ne pouvez pas écrire dans une base de données sqlite sur un partage réseau et obtenir la synchronisation gratuitement.

Answer 5

La coordination de l'accès à un fichier unique au niveau du système d'exploitation pose toutes sortes de problèmes que vous ne souhaitez probablement pas résoudre.

Votre meilleure chance est d'avoir un processus séparé qui coordonne l'accès en lecture/écriture à ce fichier.