Big-data

Tworzenie katalogu w HDFS i plikach kopiowania (Hadoop)

Tworzenie katalogu w HDFS i plikach kopiowania (Hadoop)

HDFS jest Hadoop rozproszony system plików. Jest to rozproszony system przechowywania dla dużych zestawów danych, który obsługuje tolerancję błędów, wysoką przepustowość i skalowalność. Działa poprzez podzielenie danych na bloki, które są replikowane na wiele maszyn w klastrze. Bloki można zapisać lub odczytać równolegle, ułatwiając wysoką przepustowość i tolerancję na uszkodzenia. HDFS zapewnia redundancję przypominającą RAID z automatycznym przełączaniem awaryjnym. HDFS obsługuje również kompresję, replikację i szyfrowanie.

Najczęstszym przypadkiem użycia dla HDFS jest przechowywanie dużych kolekcji danych, takich jak pliki obrazu i wideo, dzienniki, dane czujników itd.

Tworzenie struktury katalogu z HDFS

Narzędzie wiersza poleceń „HDFS” jest dostępne w ramach $ Hadoop_home/bin informator. Zakładając, że katalog Hadoop Bin jest już uwzględniony ŚCIEŻKA Zmienna środowiskowa. Teraz zaloguj się jako użytkownik Hadoop i postępuj zgodnie z instrukcjami.

  1. Stwórz /dane katalog w systemie plików HDFS. Jestem gotów użyć tego katalogu, aby zawierać wszystkie dane z aplikacji.
    HDFS DFS -MKDIR /Data
  2. Tworzenie innego katalogu /var/log, który zawiera wszystkie pliki dziennika. Ponieważ katalog /var również nie istnieje, używaj -P Aby utworzyć również katalog nadrzędny.
    HDFS dfs -mkdir -p /var /log
  3. Możesz także używać zmiennych podczas tworzenia katalogu. Na przykład tworzenie katalogu o tej samej nazwie co aktualnie zarejestrowany użytkownik. Ten katalog można użyć do zawierania danych użytkownika.
    HDFS DFS -MKDIR -p /Users /$ użytkownik

Zmiana uprawnień do plików z HDFS

Możesz także zmienić właściciele plików, a także uprawnienia w systemie plików HDFS.

  • Aby zmienić właściciela pliku i właściciel grupy, użyj -Chown Opcja wiersza poleceń:
    HDFS dfs -Chown -r $ hadoop_user: $ hadoop_user /Users /Hadoop
  • Aby zmienić zgodę pliku, użyj -chmod Opcje wiersza poleceń.
    HDFS DFS -Chmod -r 775 /Users /Hadoop

Kopiowanie plików do HDFS

HDFS Polecenie zapewnia -Dostawać I -umieścić Parametry do kopiowania plików do/z systemu plików HDFS.

  • Na przykład, aby skopiować pojedynczy plik z systemu plików lokalnego do HDFS:
    HDFS DFS -PUT ~/TESTFILE.txt/var/log/
  • Skopiuj wiele plików, podobnie jak drzewo katalogowe przy użyciu znaków wieloznacznych.
    HDFS dfs -put ~/log/*/var/log/

Wymień pliki w HDFS

Podczas pracy z klastrem Hadoop możesz wyświetlić pliki w systemie plików HDFS za pośrednictwem wiersza poleceń, a także GUI.

  • Użyj -LS Opcja z HDFS do wyświetlania plików w systemie plików HDFS. Na przykład, aby wymienić wszystkie pliki w katalogu głównym, użyj:
    HDFS DFS -LS /
  • To samo polecenie może być używane do wymienienia plików z podlokatorów.
    HDFS DFS -LS /Użytkownicy /Hadoop

    Powinieneś uzyskać następujące dane wyjściowe:

    Wypisz pliki w HDFS

  • Zamiast wiersza poleceń Hadoop zapewnia również graficzny eksplorator do łatwego przeglądania, pobierania i przesyłania plików. Przejrzyj system plików HDFS w porcie Namenode w następującym adresie URL:

    http: // localhost: 9870/explorer.html

    Przeglądaj pliki w HDFS

Wniosek

HDFS obsługuje również szereg innych aplikacji, takich jak MapReduce Zadania przetwarzające duże ilości danych, a także mechanizmy uwierzytelniania użytkownika i kontroli dostępu. HDFS można również łączyć z innymi rozproszonymi systemami plików, takimi jak S3 i SWIFT, aby stworzyć hybrydowe roztwory chmurowe, które łączą wysoką dostępność i niskie opóźnienia z tanim przechowywaniem.

W tym artykule dowiedziałeś się o tworzeniu struktury katalogu w systemie plików HDFS, zmianie uprawnień oraz kopiowaniu i wymienienia plików z HDFS.