J'utilisais Hadoop en mode pseudo-distribué et tout fonctionnait bien. Mais ensuite j'ai dû redémarrer mon ordinateur pour une raison quelconque. Et maintenant, lorsque j'essaie de démarrer le Namenode et le Datanode, je ne trouve que le Datanode en cours d'exécution. Quelqu'un pourrait-il me dire la raison possible de ce problème ? Ou est-ce que je fais quelque chose de mal ?
J'ai essayé à la fois bin/start-all.sh et bin/start-dfs.sh.
J'avais rencontré le problème du namenode qui ne démarrait pas. J'ai trouvé une solution en utilisant ce qui suit:
rm -Rf (le mien était /usr/local/hadoop/tmp)bin/hadoop namenode -formatbin/start-all.shVous pouvez également envisager de revenir en arrière en utilisant le checkpoint (si vous l'aviez activé).
hadoop.tmp.dir dans le fichier core-site.xml est par défaut à /tmp/hadoop-${user.name} qui est nettoyé après chaque redémarrage. Changez ceci pour un autre répertoire qui n'est pas nettoyé au redémarrage.
Bonjour Praven, j'avais changé le répertoire hadoop.tmp.dir en /home/tariq/hadoop et tout fonctionnait bien... Mais aujourd'hui, lorsque j'ai allumé mon ordinateur, je n'ai pas pu démarrer le datanode... Je rencontre exactement le même problème qu'auparavant... La seule différence est que cette fois-ci c'est le datanode au lieu du namenode... J'ai besoin de votre précieux guidance.
La première chose à faire lorsque vous rencontrez un problème est de faire un peu de débogage et de fournir des informations (exceptions, journaux, etc.) pour que d'autres puissent vous aider. Je ne le vois pas faire.
Suivant les ÉTAPES qui ont fonctionné pour moi avec hadoop 2.2.0,
ÉTAPE 1 arrêter hadoop
hduser@prayagupd$ /usr/local/hadoop-2.2.0/sbin/stop-dfs.shÉTAPE 2 supprimer le dossier tmp
hduser@prayagupd$ sudo rm -rf /app/hadoop/tmp/ÉTAPE 3 créer /app/hadoop/tmp/
hduser@prayagupd$ sudo mkdir -p /app/hadoop/tmp
hduser@prayagupd$ sudo chown hduser:hadoop /app/hadoop/tmp
hduser@prayagupd$ sudo chmod 750 /app/hadoop/tmpÉTAPE 4 formater le namenode
hduser@prayagupd$ hdfs namenode -formatÉTAPE 5 démarrer dfs
hduser@prayagupd$ /usr/local/hadoop-2.2.0/sbin/start-dfs.shÉTAPE 6 vérifier jps
hduser@prayagupd$ $ jps
11342 Jps
10804 DataNode
11110 SecondaryNameNode
10558 NameNode
J'avais les mêmes symptômes, après avoir essayé toutes les suggestions de Prayag (que j'ai trouvées très bien faites d'ailleurs), j'avais toujours les mêmes symptômes. Ensuite, j'ai trouvé ceci ... le chemin dfs sur mon Namenode était défini sur un lecteur externe que j'avais débranché par inadvertance ! Oups. Moralité : vérifiez vos lecteurs/chemins car je n'ai trouvé aucun message d'erreur indiquant clairement que le chemin était incorrect.
Dans conf/hdfs-site.xml, vous devriez avoir une propriété comme
dfs.name.dir
/home/user/hadoop/name/dataLa propriété "dfs.name.dir" vous permet de contrôler où Hadoop écrit les métadonnées du NameNode. Et lui donner un autre répertoire autre que /tmp garantit que les données du NameNode ne seront pas supprimées lorsque vous redémarrez.
Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.
0 votes
J'ai reformaté le HDFS et maintenant je peux démarrer à la fois le Namonode et le Datanode. Mais une fois que j'utilise Hadoop pour mon projet, je ne peux pas reformater le HDFS. J'ai besoin d'une solution permanente.