4 votes

55 gig - fichier délimité par des virgules - lecture dans la base de données mysql

Une idée sur la façon d'ouvrir ce fichier ?

Je n'ai aucun choix quant à la taille de ce fichier.

ses données textuelles régulières

La raison pour laquelle je ne peux pas décomposer le fichier est qu'il est stocké à distance et la SEULE chose que je peux faire est d'exécuter des instructions SQL sur celui-ci.

Aidez-nous !

3voto

Tobias Points 554

Sous Windows, il existe une très vieille application appelée "thegun" qui ouvre n'importe quel fichier, quelle que soit sa taille. Sous linux/mac, vous avez less/head/tail et vous pouvez même utiliser "dd".

2voto

MarkR Points 37178

Quels sont les protocoles disponibles pour ouvrir le fichier ?

Un fichier de 55G ne semble pas si mal, pouvez-vous simplement le télécharger et le manipuler localement ?

Il est clair qu'il serait préférable que les fournisseurs de données produisent davantage de petits fichiers ; un très gros fichier est difficile à manipuler.

Je vous suggère d'utiliser rsync (si vous le pouvez) car cela permettra de reprendre le transfert si celui-ci échoue (cela prendra quelques heures je suppose, si c'est à partir d'un site distant).

À quelle fréquence ces fichiers sont-ils générés ? Pouvez-vous demander à la partie qui les génère de créer des deltas à la place ? Ce serait probablement une meilleure façon de procéder (en supposant que les données ne soient pas entièrement nouvelles à chaque fois).

2voto

nos Points 102226

Vous êtes à la recherche de CHARGER LES DONNÉES DANS LE FICHIER ?

1voto

Mark Bowytz Points 726

Une fois que vous avez téléchargé le fichier, vous pouvez envisager de le diviser en morceaux plus faciles à gérer.

Certes, vous pouvez vous retrouver avec des CENTAINES de fichiers, et bien sûr, il y a le risque de diviser un fichier en cours d'enregistrement, mais bon, c'est une option !

Une recherche rapide a permis de trouver le lien suivant aquí avec des instructions étape par étape. Le lien mentionne qu'il prend en charge la division de très gros fichiers (>4GB), ce qui a attiré mon attention.

Prograide.com

Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.

Powered by:

X