Python sqlite3 et concurrence

Question

J'ai un programme Python qui utilise le module "threading". Toutes les secondes, mon programme démarre un nouveau thread qui récupère des données sur le web et les stocke sur mon disque dur. J'aimerais utiliser sqlite3 pour stocker ces résultats, mais je n'arrive pas à le faire fonctionner. Le problème semble se situer au niveau de la ligne suivante :

conn = sqlite3.connect("mydatabase.db")

• Si je place cette ligne de code dans chaque thread, j'obtiens une OperationalError m'indiquant que le fichier de la base de données est verrouillé. Je suppose que cela signifie qu'un autre thread a ouvert mydatabase.db via une connexion sqlite3 et l'a verrouillé.
• Si je place cette ligne de code dans le programme principal et que je passe l'objet de connexion (conn) à chaque thread, j'obtiens une erreur de programmation (ProgrammingError), indiquant que les objets SQLite créés dans un thread ne peuvent être utilisés que dans ce même thread.

Auparavant, je stockais tous mes résultats dans des fichiers CSV et je ne rencontrais aucun de ces problèmes de verrouillage de fichiers. J'espère que cela sera possible avec sqlite. Des idées ?

Answer 1

Contrairement à la croyance populaire, les nouvelles versions de sqlite3 faire supportent l'accès à partir de plusieurs threads.

Cette option peut être activée par le biais d'un mot-clé facultatif check_same_thread :

sqlite.connect(":memory:", check_same_thread=False)

Answer 2

Vous pouvez utiliser le modèle consommateur-producteur. Par exemple, vous pouvez créer une file d'attente partagée entre plusieurs threads. Le premier thread qui récupère des données sur le web les met en file d'attente dans la file d'attente partagée. Un autre thread qui possède une connexion à la base de données retire les données de la file d'attente et les transmet à la base de données.

Answer 3

Les éléments suivants ont été trouvés sur mail.python.org.pipermail.1239789

J'ai trouvé la solution. Je ne sais pas pourquoi la documentation de python ne contient pas un seul mot sur cette option. Nous devons donc ajouter un nouveau mot-clé argument à la fonction de connexion et nous serons en mesure de créer des curseurs à partir de celle-ci dans différents threads. Utilisez donc :

sqlite.connect(":memory:", check_same_thread = False)

fonctionne parfaitement pour moi. Bien sûr, à partir de maintenant, j'ai besoin de m'occuper d'un accès multithreading sécurisé à la base de données. En tout cas, merci à tous d'avoir essayé de m'aider.

Answer 4

Passer à multiprocessing . Il est bien meilleur, s'adapte bien, peut aller au-delà de l'utilisation de plusieurs cœurs en utilisant plusieurs CPU, et l'interface est la même qu'en utilisant le module de threading de python.

Ou, comme l'a suggéré Ali, utilisez simplement Mécanisme de pooling de threads de SQLAlchemy . Il s'occupe de tout automatiquement pour vous et possède de nombreuses fonctionnalités supplémentaires, pour n'en citer que quelques-unes :

1. SQLAlchemy comprend des dialectes pour SQLite, Postgres, MySQL, Oracle, MS-SQL, Firebird, MaxDB, MS Access, Sybase et Informix ; IBM a également publié un pilote DB2. Vous n'avez donc pas besoin de réécrire votre application si vous décidez d'abandonner SQLite.
2. Le système Unit Of Work, partie centrale de l'Object Relational Mapper (ORM) de SQLAlchemy, organise les opérations de création/insertion/mise à jour/suppression en attente dans des files d'attente et les vide en un seul lot. Pour ce faire, il effectue un "tri de dépendance" topologique de tous les éléments modifiés dans la file d'attente afin d'honorer les contraintes de clé étrangère, et regroupe les déclarations redondantes où elles peuvent parfois être regroupées encore plus loin. Cela permet d'obtenir un maximum d'efficacité et de sécurité des transactions, et de minimiser les risques de blocage.

Answer 5

Vous ne devriez pas utiliser de fils pour cela. Il s'agit d'une tâche triviale pour tordu et cela vous mènerait probablement beaucoup plus loin de toute façon.

N'utilisez qu'un seul thread et faites en sorte que l'achèvement de la demande déclenche un événement pour effectuer l'écriture.

twisted s'occupera de l'ordonnancement, des callbacks, etc... pour vous. Il vous donnera le résultat complet sous forme de chaîne de caractères, ou vous pouvez l'exécuter à travers un processeur de flux (j'ai un API twitter et un API friendfeed qui déclenchent tous deux des événements pour les appelants alors que les résultats sont encore en cours de téléchargement).

En fonction de ce que vous faites avec vos données, vous pouvez simplement transférer le résultat complet dans sqlite lorsqu'il est complet, le faire cuire et le transférer, ou le faire cuire pendant qu'il est lu et le transférer à la fin.

J'ai une application très simple qui fait quelque chose de proche de ce que vous voulez sur github. Je l'appelle pfetch (recherche parallèle). Il saisit différentes pages selon un calendrier, transmet les résultats à un fichier et exécute éventuellement un script à la fin de chacune d'elles. Il fait aussi des choses fantaisistes comme des GETs conditionnels, mais peut être une bonne base pour ce que vous faites.