Comment diviser un fichier et garder la première ligne dans chacune des pièces?

Question

Donné: Un gros fichier de données texte (par exemple.CSV format) avec une première ligne « spéciale » (par exemple, les noms de champs).

Recherché: Équivalent de la commande coreutils `` , mais avec l’exigence supplémentaire que la ligne d’en-tête du fichier d’origine apparaisse au début de chacun des éléments résultants.

Je devine une concoction de et fera l’affaire?

Answer 1

Ce one-liner divisera le gros csv en morceaux de 999 enregistrements, en préservant la ligne d’en-tête en haut de chacun (donc 999 enregistrements + 1 en-tête = 1000 lignes)

Basé sur la réponse d’Ole Tange. (réponse d’Ole : Vous ne pouvez pas utiliser le nombre de lignes avec pipepart)

Voir les commentaires pour quelques conseils sur l’installation en parallèle

Answer 2

Vous pouvez utiliser la nouvelle fonctionnalité --filter dans GNU coreutils split >= 8.13 (2011) :

Answer 3

Vous pouvez utiliser [mg]awk:

100 est le nombre de lignes de chaque tranche. Il ne nécessite pas de fichiers temporaires et peut être placé sur une seule ligne.