Polecenia Hadoop do zarządzania plikami na HDFS

Ten samouczek pomaga nauczyć się zarządzać naszymi plikami na HDFS w Hadoop. Dowiesz się, jak tworzyć, przesyłać, pobierać i wymieniać zawartość w HDFS. Poniższe polecenia pomogą Ci utworzyć strukturę katalogu w HDFS, skopiować pliki z lokalnego systemu plików na HDFS i pobieraj pliki z HDF na pliki lokalne. Także jak zarządzać plikami w HDFS.

Utwórz katalog w HDFS

Podejmuje ścieżkę URI jak argument i tworzy katalog lub wiele katalogów.

HDFS dfs -mkdir  

Pamiętaj, że musisz utworzyć katalog domowy w HDFS z nazwą użytkownika swojego systemu. Na przykład jesteś zalogowany jako hduser w swoim systemie, więc najpierw utwórz /Użytkownik /Hduser Else otrzymasz ten błąd, teraz utwórz strukturę katalogu w nim

HDFS dfs -mkdir/user/hduser hdfs dfs -mkdir/user/hduser/wejście hdfs dfs -mkdir/user/hduser/wyjście hdfs dfs -mkdir/user/hduser/wejście/hadoop/hadoop/input/xml/xml 

Skopiuj pliki do HDFS

Po utworzeniu struktury katalogu umieść teraz niektóre pliki do HDF z lokalnego systemu plików.

HDFS DFS -PUT LOKAL_FILE HDFS_PATH 

Na przykład masz test1.tekst W bieżącym katalogu i /tmp/test2.XML w lokalnym systemie plików.

HDFS DFS -Put Text1.txt/user/hduser/input/text/hdfs dfs -put/tmp/text2.xml/user/hduser/input/xml/ 

Wymień pliki z HDFS

Użyj poniższych przykładowych poleceń, aby wymienić zawartość katalogu w HDFS.

HDFS dfs -ls/user/hduser HDFS dfs -ls/user/hduser/input/hdfs dfs -ls/user/hduser/input/text//text// 

Użyj -r do listy plików rekurencyjnie w katalogach. Na przykład:

HDFS DFS -LS -r/User/Hadoop/Input/ 

Pobierz pliki z HDFS

W tym momencie nauczyłeś się kopiować i wymieniać pliki do HDFS. Teraz użyj następujących przykładowych poleceń, aby pobierać/kopiować pliki z HDFS do lokalnego systemu plików.

HDFS DFS -Get/User/Hduser/Input/Text/Test1.TXT/TMP/HDFS DFS -Get/User/Hadoop/Dir1/Xml/Test2.xml /tmp / 

Tutaj /TMP jest w lokalnym systemie plików systemu.

Kopiuj pliki między katalogami HDFS

Możesz łatwo kopiować pliki między systemem plików HDFS za pomocą opcji DistCP.

HDFS distcp/user/hduser/input/xml/text2.xml/user/hduser/wyjście HDFS distcp/user/hduser/input/text/text1.xml/user/hduser/wyjście