Comparer des données disparates

Question

Nous disposons actuellement d'un processus qui nous permet de recevoir toutes les heures un fichier d'inventaire de la part d'un fournisseur. Nous avons besoin de comparer les données d'inventaire contenues dans le fichier à celles que nous avons actuellement dans notre base de données. Avez-vous des idées sur la façon d'aborder ce problème ?

Voici ce que nous faisons actuellement :

Nous extrayons les données de la table de la base de données en C# et faisons de même avec le fichier, puis nous utilisons LINQ pour comparer.

À l'origine, les données des fichiers étaient stockées dans une table de base de données distincte, puis comparées.

Le fichier peut contenir jusqu'à 100 000 enregistrements.

Merci d'avance.....

S

Answer 1

Le vendeur peut-il inclure un champ de date de dernière mise à jour dans le fichier d'inventaire ? Il serait beaucoup plus simple de ne traiter que les modifications que d'itérer sur 100 000 enregistrements.

Answer 2

Vous devez utiliser SSIS . En tant que moteur de flux de données, il dispose de toutes sortes d'optimisations autour du processus de lecture, de traitement et d'écriture des données qui manqueront à votre application. Voir Considérations relatives à l'ETL à haut volume à l'aide des services d'intégration de SQL Server pour une discussion introductive sur le sujet.