Comment diviser un grand fichier texte en fichiers plus petits avec un nombre égal de lignes ?

Question

J'ai un fichier texte brut de grande taille (en nombre de lignes) que j'aimerais diviser en fichiers plus petits, également en nombre de lignes. Ainsi, si mon fichier contient environ 2 millions de lignes, j'aimerais le diviser en 10 fichiers contenant 200 000 lignes, ou 100 fichiers contenant 20 000 lignes (plus un fichier contenant le reste ; le fait qu'il soit divisible à parts égales n'a pas d'importance).

Je pourrais le faire assez facilement en Python, mais je me demande s'il existe un moyen ninja de le faire en utilisant Bash et les utilitaires Unix (par opposition à la mise en boucle manuelle et au comptage/partitionnement des lignes).

Answer 1

Jetez un coup d'œil à la commande split :

$ split --help
Usage: split [OPTION] [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic to standard error just
                            before each output file is opened
      --help     display this help and exit
      --version  output version information and exit

Vous pourriez faire quelque chose comme ça :

split -l 200000 filename

qui créera des fichiers de 200000 lignes chacun nommés xaa xab xac ...

Une autre option, diviser par la taille du fichier de sortie (divise toujours sur les sauts de ligne) :

 split -C 20m --numeric-suffixes input_filename output_prefix

crée des fichiers comme output_prefix01 output_prefix02 output_prefix03 ... chacun d'une taille maximale de 20 mégaoctets.

Answer 2

Utilisez le divisé commandement :

split -l 200000 mybigfile.txt

Answer 3

Oui, il y a un split commande. Elle divise un fichier par lignes ou par octets.

$ split --help
Usage: split [OPTION]... [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or when INPUT
is -, read standard input.

Mandatory arguments to long options are mandatory for short options too.
  -a, --suffix-length=N   use suffixes of length N (default 2)
  -b, --bytes=SIZE        put SIZE bytes per output file
  -C, --line-bytes=SIZE   put at most SIZE bytes of lines per output file
  -d, --numeric-suffixes  use numeric suffixes instead of alphabetic
  -l, --lines=NUMBER      put NUMBER lines per output file
      --verbose           print a diagnostic just before each
                            output file is opened
      --help     display this help and exit
      --version  output version information and exit

SIZE may have a multiplier suffix:
b 512, kB 1000, K 1024, MB 1000*1000, M 1024*1024,
GB 1000*1000*1000, G 1024*1024*1024, and so on for T, P, E, Z, Y.

Answer 4

Utilice split :

Divise un fichier en morceaux de taille fixe, crée des fichiers de sortie contenant des sections consécutives de INPUT (entrée standard si aucune n'est donnée ou si INPUT est `-')

Syntax split [options] [INPUT [PREFIX]]

Answer 5

Vous pouvez également utiliser AWK :

awk -vc=1 'NR%200000==0{++c}{print $0 > c".txt"}' largefile