Comment copier un fichier de HDFS vers le système de fichiers local ?

Question

Comment copier un fichier depuis HDFS vers le système de fichiers local . Il n'y a pas d'emplacement physique d'un fichier sous le fichier, pas même un répertoire. comment puis-je les déplacer vers mon local pour d'autres validations. j'ai essayé à travers winscp.

Answer 1

Cela a fonctionné pour moi sur mon instance VM d'Ubuntu.

hdfs dfs -copyToLocal [répertoire hadoop] [répertoire local]

Answer 2

1 - Souvenez-vous du nom que vous avez donné au fichier et au lieu d'utiliser hdfs dfs -put. Utilisez 'get' à la place. Voir ci-dessous.

$hdfs dfs -get /output-fileFolderName-In-hdfs

Answer 3

Si vous utilisez Docker, vous devez effectuer les étapes suivantes :

1. copier le fichier de hdfs à namenode (hadoop fs -get output/part-r-00000 /out_text). "/out_text" sera stocké sur le namenode.

2. copier le fichier de namenode au disque local par (docker cp namenode:/out_text output.txt)

3. output.txt se trouvera dans votre répertoire de travail actuel.

Answer 4

bin/hadoop fs -put /localfs/destination/path /hdfs/source/path