Comment supprimer la première ligne d'un fichier texte en utilisant bash/sed script ?

Question

J'ai besoin de supprimer de manière répétée la première ligne d'un énorme fichier texte en utilisant un script bash script.

Pour l'instant, j'utilise sed -i -e "1d" $FILE - mais cela prend environ une minute pour effectuer la suppression.

Existe-t-il un moyen plus efficace d'y parvenir ?

Answer 1

Essayez queue :

tail -n +2 "$FILE"

-n x : Il suffit d'imprimer la dernière x lignes. tail -n 5 vous donnerait les 5 dernières lignes de l'entrée. Le site + le signe inverse l'argument et fait tail imprimer tout sauf le premier x-1 lignes. tail -n +1 imprimerait le fichier entier, tail -n +2 tout sauf la première ligne, etc.

GNU tail est beaucoup plus rapide que sed . tail est également disponible sur BSD et le -n +2 est cohérent dans les deux outils. Vérifiez le FreeBSD o OS X pages de manuel pour en savoir plus.

La version BSD peut être beaucoup plus lente que sed cependant. Je me demande comment ils ont réussi à le faire ; tail devrait juste lire un fichier ligne par ligne alors que sed effectue des opérations assez complexes impliquant l'interprétation d'un script, l'application d'expressions régulières et autres.

Note : Vous pouvez être tenté d'utiliser

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

mais cela vous donnera une fichier vide . La raison en est que la redirection ( > ) se produit avant tail est invoqué par le shell :

1. Le shell tronque le fichier $FILE
2. Shell crée un nouveau processus pour tail
3. Le shell redirige le stdout du tail processus pour $FILE
4. tail lit sur le site maintenant vide $FILE

Si vous voulez supprimer la première ligne à l'intérieur du fichier, vous devez utiliser :

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

El && permettra de s'assurer que le fichier ne sera pas écrasé en cas de problème.

Answer 2

Pour ceux qui sont sur SunOS qui est non-GNU, le code suivant vous aidera :

sed '1d' test.dat > tmp.dat

Answer 3

Non, c'est le plus efficace que vous puissiez faire. Vous pourriez écrire un programme C qui pourrait faire le travail un peu plus rapidement (moins de temps de démarrage et de traitement des arguments) mais il tendra probablement vers la même vitesse que sed lorsque les fichiers deviendront volumineux (et je suppose qu'ils sont volumineux si cela prend une minute).

Mais votre question souffre du même problème que tant d'autres, à savoir qu'elle présuppose la solution. Si vous nous disiez en détail ce que que vous essayez de faire plutôt que comment nous pourrons peut-être vous proposer une meilleure solution.

Par exemple, s'il s'agit d'un fichier A qu'un autre programme B traite, une solution serait de ne pas supprimer la première ligne, mais de modifier le programme B pour le traiter différemment.

Supposons que tous vos programmes ajoutent des éléments à ce fichier A et que le programme B lit et traite actuellement la première ligne avant de l'effacer.

Vous pourriez réorganiser le programme B de façon à ce qu'il n'essaie pas de supprimer la première ligne mais maintienne un décalage persistant (probablement basé sur le fichier) dans le fichier A de façon à ce que, lors de sa prochaine exécution, il puisse chercher ce décalage, y traiter la ligne et mettre à jour le décalage.

Ensuite, à un moment calme (minuit ?), il pourrait effectuer un traitement spécial du fichier A pour supprimer toutes les lignes en cours de traitement et remettre le décalage à 0.

Il sera certainement plus rapide pour un programme d'ouvrir et de rechercher un fichier plutôt que d'ouvrir et de réécrire. Cette discussion suppose que vous avez le contrôle du programme B, bien sûr. Je ne sais pas si c'est le cas mais il peut y avoir d'autres solutions possibles si vous fournissez des informations supplémentaires.

Answer 4

Comme l'a dit Pax, vous ne pourrez probablement pas aller plus vite que cela. La raison en est qu'il n'y a pratiquement aucun système de fichiers qui supporte la troncature à partir du début du fichier, donc cela va être un problème de O( n ) où n est la taille du fichier. Ce que vous pouvez faire beaucoup Le plus rapide est d'écraser la première ligne avec le même nombre d'octets (peut-être avec des espaces ou un commentaire), ce qui pourrait fonctionner pour vous en fonction de ce que vous essayez de faire exactement (qu'est-ce que c'est d'ailleurs ?).

Answer 5

Vous puede modifier les fichiers en place : Utilisez simplement la fonction -i drapeau, comme ceci :

perl -ni -e 'print unless $. == 1' filename.txt

Cela fait disparaître la première ligne, comme vous le demandez. Perl devra lire et copier le fichier entier, mais il s'arrange pour que la sortie soit enregistrée sous le nom du fichier original.