Après la mise à niveau des clusters Hadoop vers Clodera 4 b1, une erreur de configuration "mapreduce.jobtracker.address" invalide se produit.

Question

J'ai récemment mis à niveau vers clodera4b1. Avant la mise à niveau, les travaux mapreduce fonctionnaient bien, mais maintenant, lorsque j'exécute un programme mapreduce, l'erreur suivante apparaît :

Exécution de la commande :

hadoop jar /usr/lib/hadoop/hadoop-mapreduce-examples-0.23.0-cdh4b1.jar grep *.xml /user/out/ 'dfs'

12/04/10 19:23:15 INFO mapreduce.Cluster: Failed to use org.apache.hadoop.mapred.LocalClientProtocolProvider due to error: Invalid "mapreduce.jobtracker.address" configuration value for LocalJobRunner : "dev-xxx:yyyy"
12/04/10 19:23:15 ERROR security.UserGroupInformation: PriviledgedActionException as:anchauhan (auth:SIMPLE) cause:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
    at org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:123)
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:85)
    at org.apache.hadoop.mapreduce.Cluster.<init>(Cluster.java:78)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1185)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1181)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1167)
    at org.apache.hadoop.mapreduce.Job.connect(Job.java:1180)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1209)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1233)
    at com.nextag.mapred.MerchantImport.doTask(MerchantImport.java:221)
    at com.nextag.mapred.Main.main(Main.java:9)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:200)

Et pour mes travaux mapred personnalisés, j'ai changé les fichiers de bibliothèque pour les nouveaux lors de la compilation des fichiers jar, mais sans succès.

Answer 1

Nous avons eu la même exception et la raison était que nous avions les mauvaises dépendances dans les fichiers pom. Nous pointions vers hadoop-client version 2.0.0-cdh4.0.0 qui est pour yarn mais nous utilisons MRv1 donc nous aurions dû pointer vers 2.0.0-mr1-cdh4.0.0. Vous ne devriez pas avoir de fichiers jar yarn dans vos dépendances.

Référence