script pour migrer les données d'une source vers une autre

Question

J'ai un fichier .h, entre autres, qui contient des données dans ce format

struct X[]{
{"Field", "value1 value2 value"},
{"Field2", "value11 value12 value232"},
{"Field3", "x  y z"},
{"Field4", "a bbb s"},
{"Field5", "sfsd sdfdsf sdfs"};
/****************/
};

J'ai un fichier texte contenant des valeurs que je veux remplacer dans le fichier .h par de nouvelles valeurs.

value1   Valuesdfdsf1  
value2   Value1dfsdf  
value3   Value1_another  
sfsd     sfsd_ewew   
sdfdsf   sdfdsf_ew 
sdfs     sfsd_new   

Et le fichier .h résultant contiendra les remplacements du fichier texte ci-dessus. Tout le reste reste inchangé.

struct X[]{
    {"Field1", "value11 value12 value232"},
    {"Field2", "value11 value12 value232"},
    {"Field3", "x  y z"},
    {"Field4", "a bbb s"},
    {"Field5", "sfsd_ewew sdfdsf_ew sdfs_new"};
    /****************/
    };

Aidez-moi à trouver une solution pour y parvenir en utilisant des outils unix : awk, perl, bash, sed, etc.

Answer 1

cat junk/n2.txt | perl -e '{use File::Slurp; my @r = File::Slurp::read_file("junk/n.txt"); my %r = map {chomp; (split(/\s+/,$_))[0,1]} @r; while (<>) { unless (/^\s*{"/) {print $_; next;}; my ($pre,$values,$post) = ($_ =~ /^(\s*{"[^"]+", ")([^"]+)(".*)$/); my @new_values = map { exists $r{$_} ? $r{$_}:$_ } split(/\s+/,$values); print $pre . join(" ",@new_values) . $post . "\n"; }}'     

Résultat :

struct X[]{
{"Field", "value1 Value1dfsdf value"},
{"Field2", "value11 value12 value232"},
{"Field3", "x y z"},
{"Field4", "a bbb s"},
{"Field5", "sfsd_ewew sdfdsf_ew sfsd_new"};
/****************/
};

Code démêlé :

use File::Slurp;
my @replacements = File::Slurp::read_file("junk/n.txt"); 
my %r = map {chomp; (split(/\s+/,$_))[0,1]} @replacements; 
while (<>) {
    unless (/^\s*{"/) {print $_; next;}
    my ($pre,$values,$post) = ($_ =~ /^(\s*{"[^"]+", ")([^"]+)(".*)$/); 
    my @new_values = map { exists $r{$_} ? $r{$_} : $_ } split(/\s+/, $values);
    print $pre . join(" ",@new_values) . $post . "\n";
}

Answer 2

#!/usr/bin/perl

use strict; use warnings;

# you need to populate %lookup from the text file
my %lookup = qw(
    value1   Valuesdfdsf1
    value2   Value1dfsdf
    value3   Value1_another
    sfsd     sfsd_ewew
    sdfdsf   sdfdsf_ew
    sdfs     sfsd_new
);

while ( my $line = <DATA> ) {
    if ( $line =~ /^struct \w+\Q[]/ ) {
        print $line;
        process_struct(\*DATA, \%lookup);
    }
    else {
        print $line;
    }
}

sub process_struct {
    my ($fh, $lookup) = @_;

    while (my $line = <$fh> ) {
        unless ( $line =~ /^{"(\w+)", "([^"]+)"}([,;])\s+/ ) {
            print $line;
            return;
        }
        my ($f, $v, $p) = ($1, $2, $3);
        $v =~ s/(\w+)/exists $lookup->{$1} ? $lookup->{$1} : $1/eg;
        printf qq|{"%s", "%s"}%s\n|, $f, $v, $p;
    }
    return;
}

__DATA__
struct X[]{
{"Field", "value1 value2 value"},
{"Field2", "value11 value12 value232"},
{"Field3", "x  y z"},
{"Field4", "a bbb s"},
{"Field5", "sfsd sdfdsf sdfs"};
/****************/
};

Answer 3

Voici un programme qui semble simple :

use strict;
use warnings;
use File::Copy;

use constant {
    OLD_HEADER_FILE   => "headerfile.h",
    NEW_HEADER_FILE   => "newheaderfile.h",
    DATA_TEXT_FILE    => "data.txt",
};

open (HEADER, "<", OLD_HEADER_FILE) or
die qq(Can't open file old header file ") . OLD_HEADER_FILE . qq(" for reading);

open (NEWHEADER, ">", NEW_HEADER_FILE) or
die qq(Can't open file new header file ") . NEW_HEADER_FILE . qq(" for writing);

open (DATA, "<", DATA_TEXT_FILE) or
die qq(Can't open file data file ") . DATA_TEXT_FILE . qq(" for reading); 

#
# Put Replacement Data in a Hash
#

my %dataHash;
while (my $line = <DATA>) {
    chomp($line);
    my ($key, $value) = split (/\s+/, $line);
    $dataHash{$key} = $value if ($key and $value);
}
close (DATA);

#
# NOW PARSE THOUGH HEADER
# 

while (my $line = <HEADER>) {
    chomp($line);
    if ($line =~ /^\s*\{"Field/) {
        foreach my $key (keys(%dataHash)) {
            $line =~ s/\b$key\b/$dataHash{$key}/g;
        }
    }
    print NEWHEADER "$line\n";
}

close (HEADER);
close (NEWHEADER);
copy(NEW_HEADER_FILE, OLD_HEADER_FILE) or
  die qq(Unable to replace ") . OLD_HEADER_FILE . qq(" with ") . NEW_HEADER_FILE . qq(");

Je pourrais le rendre plus efficace en utilisant map mais cela rend la chose plus difficile à comprendre.

En gros :

• J'ouvre trois fichiers, l'en-tête original, le nouvel en-tête que je construis et le fichier de données.
• Je place d'abord mes données dans un hash où le texte de remplacement est codé par le texte d'origine. (J'aurais pu le faire dans l'autre sens si j'avais voulu.
• Je passe ensuite en revue chaque ligne de l'en-tête original. ** Si je vois une ligne qui ressemble à une ligne de champ, je sais que je vais devoir la remplacer. ** Pour chaque entrée dans mon %dataHash je fais une substitution du $key avec le $dataHash{$key} valeur de remplacement. J'utilise la \b pour marquer limites des mots . Par ici, field11 n'est pas substitué car je vois field1 dans cette chaîne. ** Maintenant, je réécris la ligne dans mon nouveau fichier d'en-tête. Si je n'ai rien remplacé, je réécris simplement la ligne originale.
• Une fois que j'ai terminé, je copie le nouvel en-tête sur l'ancien fichier d'en-tête.

Answer 4

Cela peut être un peu lent si vos fichiers sont volumineux.

gawk -F '[ \t]*|"' 'FNR == NR {repl[$1]=$2;next}{for (f=1;f<=NF;++f) for (r in repl) if ($f == r) $f=repl[r]; print} ' keyfile file.h

Answer 5

Ce script devrait fonctionner
valeur clé est le fichier contenant les paires clé-valeur
filetoreplace est le fichier contenant les données à modifier
Le fichier nommé modifié contiendra les changements

#!/bin/sh
echo  

keylist=`cat keyval | awk '{ print $1}'`  

while read line   
do   

for i in $keylist  
do  

if echo $line | grep -wq $i; then  

    value=`grep -w $i keyval | awk '{print $2}'`  
    line=`echo $line | sed -e "s/$i/$value/g"`  
fi  

done  

echo $line >> changed  

done < filetoreplace