Quelle est la valeur correcte de HADOOP_HOME et PIG_CLASSPATH pour APACHE HADOOP version 2.8.0 ?

Question

Je rencontre un problème lors de l'exécution du Hadoop à partir de la commande PIG ligne de commande. La commande et la pile d'erreurs sont les suivantes

Mon instructeur pense que c'est parce que HADDOP_HOME y PIG_CLASSPATH sont incorrectes. Je suis sur le HADOOP version 2.8.0 .

Ainsi, à l'origine, j'avais HADOOP_HOME comme

HADOOP_HOME=<CELLAR_DIRECTORY>/hadoop/2.8.0/

Ensuite, j'ai changé la configuration suivante :

HADOOP_HOME=<CELLAR_DIRECTORY>/hadoop/2.8.0/libexec/etc/hadoop

PIG_CLASSPATH est défini comme suit $HADOOP_HOME

Commandes que j'ai utilisées dans pig :

A = LOAD '/Users/anarinsky/Downloads/loaddata1.txt';

B = MAPREDUCE '/Users/anarinsky/workspace/wordcount/target/wordcount-1.jar' STORE A INTO '/Users/anarinsky/Downloads/tempwrite2' LOAD  '/Users/anarinsky/Downloads/tempwrite2' AS (word:chararray, count:int) `com.systemskills.hadoop.wordcount.WordCountDriver /wordcountdata /Users/anarinsky/Downloads/pigoptdir`;

Trace de pile de Pig

ERROR 2025: Expected leaf of reduce plan to always be POStore. Found PONative

org.apache.pig.impl.logicalLayer.FrontendException: ERROR 1066: Unable to open iterator for alias B
    at org.apache.pig.PigServer.openIterator(PigServer.java:1019)
    at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:747)
    at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:376)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:231)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:206)
    at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:66)
    at org.apache.pig.Main.run(Main.java:564)
    at org.apache.pig.Main.main(Main.java:176)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:234)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:148)
Caused by: org.apache.pig.PigException: ERROR 1002: Unable to store alias B
    at org.apache.pig.PigServer.storeEx(PigServer.java:1122)
    at org.apache.pig.PigServer.store(PigServer.java:1081)
    at org.apache.pig.PigServer.openIterator(PigServer.java:994)
    ... 13 more
Caused by: org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MRCompilerException: ERROR 2025: Expected leaf of reduce plan to always be POStore. Found PONative
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MRCompiler.compile(MRCompiler.java:321)
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.compile(MapReduceLauncher.java:629)
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:152)
    at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.launchPig(HExecutionEngine.java:308)
    at org.apache.pig.PigServer.launchPlan(PigServer.java:1474)
    at org.apache.pig.PigServer.executeCompiledLogicalPlan(PigServer.java:1459)
    at org.apache.pig.PigServer.storeEx(PigServer.java:1118)
    ... 15 more

Answer 1

Alex ! Malheureusement, ce n'est pas lié aux chemins Pig (j'ai essayé sur mon cluster hadoop configuré) avec le même résultat. L'erreur que vous obtenez fait référence au fait que le compilateur de plan physique a un bug dans la méthode de compilation. Donc, pour que votre tentative fonctionne, vous avez deux possibilités

1. Exécuter un job MR natif avec Hadoop et traiter les résultats dans Pig à la fin du job.

2. Modifiez le code source du porc et compilez votre propre version. Vous devrez éditer org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MRCompiler#compile et remplacer

   for (PhysicalOperator op : leaves) {
       if (!(op instanceof POStore)) {
           int errCode = 2025;
           String msg = "Expected leaf of reduce plan to " +
               "always be POStore. Found " + op.getClass().getSimpleName();
           throw new MRCompilerException(msg, errCode, PigException.BUG);
       }
   }

avec

    for (PhysicalOperator op : leaves) {
        if (!(op instanceof POStore) && !(op instanceof PONative)) {
            int errCode = 2025;
            String msg = "Expected leaf of reduce plan to " +
                "always be POStore. Found " + op.getClass().getSimpleName();
            throw new MRCompilerException(msg, errCode, PigException.BUG);
        }
    }