Jak skonfigurować klaster wielbiciela Hadoop na Centos 7/6

Biblioteka oprogramowania Apache Hadoop to struktura, która pozwala na rozproszone przetwarzanie dużych zestawów danych w klastrach komputerów za pomocą prostych modeli programowania.

Nasz wcześniejszy artykuł o Hadoop opisał, jak skonfigurować klaster pojedynczego węzła. W tym artykule pomoże Ci krok po kroku instalować i konfigurować klaster Hadoop Multi-Node w Centos/RhEL 6.

Szczegóły konfiguracji:

Hadoop Master: 192.168.1.15 (Hadoop-Master)
Hadoop Slave: 192.168.1.16 (Hadoop-Slave-1)
Hadoop Slave: 192.168.1.17 (Hadoop-Slave-2)

Krok 1. Zainstaluj Java

Przed zainstalowaniem Hadoop upewnij się, że Java zainstalowano na wszystkich węzłach systemów klastrów Hadoop.

# Java -version Java wersja „1.7.0_75 "Java (TM) SE Środowisko środowiskowe (kompilacja 1.7.0_75-B13) Java Hotspot (TM) 64-bitowy serwer VM (kompilacja 24.75-B04, tryb mieszany) 

Jeśli nie masz zainstalowanej Java, użyj następnego artykułu, aby zainstalować Java.

Kroki do zainstalowania Java 7 na Centos/RHEL 7/6/5

Krok 2. Utwórz konto użytkownika

Utwórz konto użytkownika systemu zarówno w systemach głównych, jak i niewolników do instalacji Hadoop

# useradd Hadoop # Passwd Hadoop 

Zmiana hasła dla użytkownika Hadoop. Nowe hasło: Ponownie przestawić nowe hasło: Passwd: Wszystkie tokeny uwierzytelniania zostały pomyślnie zaktualizowane. 

Krok 3: Dodaj mapowanie FQDN

Edytować /etc/hosts Plik na wszystkich serwerach głównych i niewolników i dodaj następujące wpisy.

# vim /etc /hosts 

192.168.1.15 Hadoop-Master 192.168.1.16 Hadoop-Slave-1 192.168.1.17 Hadoop-Slave-2 

Krok 4. Konfigurowanie loginu opartego na kluczu

Należy skonfigurować użytkownika Hadoop na sam SSH bez hasła. Użyj następujących poleceń, aby skonfigurować automatyczne logowanie między wszystkimi serwerami klastra Hadoop…

# su -hadoop $ ssh -keygen -t rsa $ ssh -copy -id -i ~//.ssh/id_rsa.pub [e-mail chroniony] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [e-mail chroniony] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [e -mail chroniony] $ chmod 0600 ~/.ssh/autoryzowane_keys $ exit 

Krok 5. Pobierz i wyodrębnij źródło Hadoop

Pobierz najnowszą dostępną wersję Hadoop z jej oficjalnej witryny tylko na serwerze Hadoop-Master.

# mkdir/opt/hadoop # cd/opt/hadoop/ # wget http: // apache.Mesi.com.AR/Hadoop/Common/Hadoop-1.2.0/Hadoop-1.2.0.smoła.GZ # TAR -xZF HADOOP -1.2.0.smoła.GZ # MV Hadoop-1.2.0 Hadoop # chown -r hadoop/opt/hadoop # cd/opt/hadoop/hadoop/ 

Krok 6: Skonfiguruj Hadoop

Najpierw edytuj pliki konfiguracyjne Hadoop i wprowadzaj następujące zmiany.
6.1 Edytuj stronę rdzenia.XML

# vim conf/rdzeń.XML 

#Add następujące w środku znacznik konfiguracji FS.domyślny.Nazwa HDFS: // Hadoop-Master: 9000/DFS.uprawnienia fałszywe  

6.2 Edytuj stronę HDFS.XML

# VIM CONF/HDFS SITE.XML 

# Dodaj następujące w środku Tag konfiguracji DFS.dane.Dir/opt/hadoop/hadoop/dfs/nazwa/dane prawdziwe dfs.nazwa.Dir/opt/hadoop/hadoop/dfs/nazwa prawdziwy DFS.Replikacja 1  

6.3 Edytuj stronę Mapred.XML

# vim conf/mapred-site.XML 

# Dodaj następujące w środku znacznik konfiguracji Mapred.stanowisko.Tracker Hadoop-Master: 9001  

6.4 Edytuj Hadoop-ENV.cii

# vim conf/hadoop-env.cii 

Eksport java_home =/opt/jdk1.7.0_75 Eksport Hadoop_Opts = -djava.internet.PREFIPV4SACK = True Export Hadoop_conf_dir =/opt/hadoop/hadoop/conf 

Ustaw ścieżkę java_home zgodnie z konfiguracją systemu dla Java.

Krok 7: Kopiuj źródło Hadoop na serwery niewolników

Po aktualizacji powyżej konfiguracji musimy skopiować pliki źródłowe do wszystkich serwerów niewolników.

# su-hadoop $ cd/opt/hadoop $ scp -r hadoop-slave-1:/opt/hadoop $ scp -r hadoop-slave-2:/opt/hadoop/hadoop 

Krok 8: Skonfiguruj Hadoop tylko na serwerze głównym

Przejdź do folderu źródłowego Hadoop na Hadoop-Master i wykonaj następujące ustawienia.

# su - Hadoop $ cd/opt/hadoop/hadoop 

$ vim conf/masters Hadoop-Master 

$ vim conf/niewolnicy Hadoop-Slave-1 Hadoop-Slave-2 

Węzeł nazwy formatu tylko w Hadoop Master

# su - hadoop $ cd/opt/hadoop/hadoop $ bin/hadoop namenode -Format 

13/07/13 10:58:07 Info Namenode.Namenode: startup_msg: /*********************************************** *************** Startup_msg: Uruchamianie Namenode startup_msg: host = Hadoop-Master/192.168.1.15 startup_msg: args = [-format] startup_msg: wersja = 1.2.0 startup_msg: build = https: // svn.Apache.org/repos/asf/hadoop/common/gałęzie/gałąź-1.2 -R 1479473; Opracowane przez „Hortonfo” na poniedziałek 6 maja 06:59:37 UTC 2013 Startup_msg: java = 1.7.0_25 *************************************************** ***********/13/07/13 10:58:08 Info Util.GSET: Pojemność obliczeniowa dla map blocksmap 13/07/13 10:58:08 Info Util.GSet: VM Typ = 32-bit 13/07/13 10:58:08 Info Util.GSet: 2.0% MAX Pamięć = 1013645312 13/07/13 10:58:08 Info Util.GSet: Pojemność = 2^22 = 4194304 Wpisy 13/07/13 10:58:08 Info Util.GSet: zalecane = 4194304, faktyczna = 4194304 13/07/13 10:58:08 Info Namenode.FSNamesystem: fsowner = Hadoop 13/07/13 10:58:08 Info Namenode.Fsnamesystem: supergroup = supergroup 13/07/13 10:58:08 Info Namenode.FSNamesystem: IsperMissionEnabled = True 13/07/13 10:58:08 Info Namenode.FSNamesystem: DFS.blok.unieważnić.Limit = 100 13/07/13 10:58:08 Info Namenode.FsnameSystem: IsAccessTokenEnabled = False AccessKeyUpdateinterval = 0 min (s), AccesstokenLifeTime = 0 min (s) 13/07/13 10:58:08 Info namenode.FSEDITLOG: DFS.Namenode.Edyty.tolerancja.długość = 0 13/07/13 10:58:08 Info Namenode.Namenode: Nazwy plików buforowania występują ponad 10 razy 13/07/13 10:58:08 Info Wspólne.Pamięć: plik obrazu o rozmiarze 112 zapisany w 0 sekund. 13/07/13 10:58:08 Info Namenode.Fseditlog: zamykanie edycji dziennik: pozycja = 4, editlog =/opt/hadoop/hadoop/dfs/name/current/edyts 13/07/13 10:58:08 Info Namenode.Fseditlog: bliski sukces: obcięcie do 4, editlog =/opt/hadoop/hadoop/dfs/name/current/edycje 13/07/13 10:58:08 Info Wspólne.Pamięć: Diatctory Storage/Opt/Hadoop/Hadoop/DFS/Nazwa została pomyślnie sformatowana. 13/07/13 10:58:08 Info Namenode.Namenode: supdown_msg: /*********************************************** ***************.168.1.15 ************************************************* ***********/ 

Krok 9: Rozpocznij usługi Hadoop

Użyj następującego polecenia, aby rozpocząć wszystkie usługi Hadoop na Hadoop-Master

$ bin/start-all.cii