J'aimerais insérer des millions d'enregistrements dans le cadre d'un processus par lots entre MongoDB et Aerospike. J'ai suivi la documentation et j'ai trouvé ce document : http://www.aerospike.com/docs/client/nodejs/usage/kvs/write.html mais cette méthode ne permet d'insérer qu'un seul enregistrement à la fois.
Comment puis-je effectuer une insertion sur des millions de valeurs clés en une seule fois ? Je n'ai aucune suggestion pour optimiser l'opération d'écriture.
Chaque écriture d'enregistrement dans Aerospike sera une écriture d'enregistrement unique puisque Aerospike dispose d'un verrouillage au niveau de l'enregistrement. Je ne vois pas comment on peut écrire un million d'enregistrements en une seule opération. Les enregistrements d'un espace de noms donné sont répartis uniformément dans le cluster Aerospike sur la base d'un hachage du nom de l'ensemble et de la clé de l'enregistrement. Par conséquent, les écritures dans le cluster Aerospike du côté du client doivent être des écritures d'enregistrements individuels.
Aerospike est une base de données clé-valeur distribuée, multi-nœuds, multi-cœurs et multithreads. Si vous souhaitez effectuer un grand nombre d'opérations d'écriture en un minimum de temps, vous devez tirer parti de ce fait et effectuer vos écritures en parallèle. Comme l'a souligné Piyush, chaque objet en lui-même est écrit en une seule fois, vous devez donc répartir votre travail sur plusieurs clients et plusieurs threads dans ces clients. C'est ainsi que des outils tels que aerospike/aerospike-loader y asrestore travail.
J'ai décrit le fonctionnement à l'intérieur de chaque nœud dans un article séparé sur les Internes de l'Aerospike .
Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.
