Jak zainstalować CDH i skonfigurować umiejscowienie serwisowe w Centos/RHEL 7 - Część 4

We wcześniejszym artykule wyjaśniliśmy instalację Cloudera Manager, w tym artykule nauczysz się instalować i konfigurować CDH (Dystrybucja Cloudera Hadoop) W RHEL/CENTOS 7.

Podczas instalowania paczki CDH musimy upewnić się Menedżer Cloudera I CDH zgodność. Wersja Cloudera ma 3 części - ... Major Cloudera Manager i wersja Minor musi być taka sama jak wersja CDH Major i Minor Version.

Na przykład używamy Cloudera Manager 6.3.1 I CDH 6.3.2. Tutaj 6 jest główny i 3 to mała wersja. Major i Minor muszą być takie same, aby uniknąć problemów związanych z kompatybilnością.

Wymagania

• Najlepsze praktyki wdrażania serwera Hadoop na CentOS/RHEL 7 - Część 1
• Konfigurowanie warunków wstępnych Hadoop i utwardzania bezpieczeństwa - część 2
• Jak zainstalować i skonfigurować Cloudera Manager w Centos/Rhel 7 - Część 3

Weźmy poniżej 2 węzły do ​​zainstalowania CDH. Już zainstalowaliśmy Cloudera Manager w Master1, Również używamy Master1 Jako serwer repo.

Master1.Tecmint.com Worker1.Tecmint.com 

Krok 1: Pobierz paczki CDH na serwerze głównym

1. Najpierw połącz się z Master1 serwer i pobieranie Paczki CDH pliki w /var/www/html/cloudera-repos/cdh informator . Musimy pobrać poniżej 3 pliki, które powinny być kompatybilne RHEL/CENTOS 7.

CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.Parcel CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.paczka.Manifest SHA1.JSON 

2. Przed pobraniem tych plików pamiętaj o utworzeniu CDH Directory pod /var/www/html/cloudera-repos/ Lokalizacja.

$ cd/var/www/html/cloudera-repos/$ sudo mkdir cdh $ cd cdh 

3. Następnie pobierz powyższe 3 pliki za pomocą następujące polecenie WGET.

$ sudo wget https: // archiwum.Cloudera.COM/CDH6/6.3.2/Parcele/CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.paczka $ sudo wget https: // archiwum.Cloudera.COM/CDH6/6.3.2/Parcele/CDH-6.3.2-1.CDH6.3.2.P0.1605554-EL7.paczka.sha1 $ sudo wget https: // archiwum.Cloudera.COM/CDH6/6.3.2/paczki/manifest.JSON 

Krok 2: Konfiguruj repozytorium Cloudera Manager na klientach pracowników

4. Teraz połącz się z pracownik serwery i skopiuj plik repo (Cloudera-Manager.Repo) z serwera Repo (Master1) Do wszystkich pozostałych serwerów pracowniczych. Niniejszy plik Repo zapewnia serwerom, że wszystkie wymagane paczki i RPM zostaną pobrane z serwera Repo podczas instalacji.

cat>/etc/yum.repozytorium.D/Cloudera-Manager.Repo < 
5. Po dodaniu repozytoringu wymień włączone repozytoria, aby upewnić się Cloudera-Manager Repo jest włączone.
 
$ Yum Repolist 
  Sprawdź włączone repo 
Krok 3: Zainstaluj Demony i agent Cloudera Manager na serwerach pracowników
 
6. Teraz musimy zainstalować Cloudera-Manager-Daemons I Cludera-Manager-Agent We wszystkich pozostałych serwerach.
 
$ sudo yum instaluj Cloudera-Manager-Daemons Cloudera-Manager-Agent 
  Zainstaluj Demony i agent Cloudera Manager 
7. Następnie musisz skonfigurować Menedżer Cloudera agent do zgłoszenia Menedżer Cloudera serwer.
 
$ sudo vi/etc/cloudera-scm-agent/config.ini 
 
Zastąp Lokalny Gospodarz z Menedżer Cloudera adres IP serwera.
  Skonfiguruj Cloudera Manager 
8. Początek Menedżer Cloudera Agent i zweryfikuj status.
 
$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 
  Sprawdź status Cloudera Manager 
Krok 4: Zainstaluj i skonfiguruj CDH
 
Mamy CDH paczki w Master1 - Serwer repo. Upewnij się, że wszystkie serwery mają plik repozytorium Cloudera Manager /etc/mniam.repozytorium.D/ Jeśli śledzisz automatyczną instalację za pomocą Menedżer Cloudera.
 
9. Zaloguj się do Cloudera Manager za pomocą poniższego adresu URL w porcie 7180 i użyj domyślnej nazwy użytkownika i hasła Menedżer Cloudera.
 
http: // 104.211.95.96: 7180/cmf/login nazwa użytkownika: Administrator Hasło: Administrator 
  Logowanie Cloudera Manager 
10. Po zalogowaniu zostaniesz powitany stroną powitalną. Tutaj można znaleźć notatki z wydania, nowe funkcje Cloudera Manager.
  Cloudera Manager Witamy 
11. Zaakceptuj licencję i kontynuuj.
  Licencja Cloudera Manager 
12. Wybierz edycję. Wersja próbna została domyślnie wybrana, możemy kontynuować to.
  Cloudera Manager Edition 
13. Teraz postępuj zgodnie z krokami instalacji klastra. Kontynuuj stronę powitalną.
  Instalacja klastra klastra Cloudera Manager 
14. Nazwij klaster i kontynuuj, wymieniliśmy „Tecmint". Istnieją 2 rodzaje klastrów, które możesz zdefiniować. Kontynuujemy zwykłą klaster.
 
 
Zwykła klaster: Będzie składał się z węzłów pamięci, węzłów obliczeniowych i innych niezbędnych usług.
 
Klaster obliczeniowy: Będzie składał się tylko z węzłów obliczeniowych. Do przechowywania danych można użyć przechowywania zewnętrznego.
 
  Nazwa klastra klastra Cloudera Manager 
15. Już zainstalowaliśmy Agenci menedżera Cloudera We wszystkich serwerach. Te serwery można znaleźć w „Obecnie zarządzane hosty". Aby uzyskać automatyczną instalację, musisz wprowadzić FQDN lub IP serwerów w „Nowi gospodarze„Opcja i wyszukiwanie. Cloudera Manager automatycznie wykryje hosty, na których musimy zainstalować CDH.
 
Tutaj kliknij „„Obecnie zarządzane hosty”, Wybierz wszystkie hosty, wybierając 'Nazwa hosta' i kontynuuj.
  Obecnie zarządzane hosty 
16. Wybierz Repozytorium - za pomocą Paczka to zalecany sposób. Kliknij 'Więcej możliwości„Aby skonfigurować repozytorium.
  Wybierz repozytorium 
17. Wprowadź lokalny adres URL repozytorium, jak wspomniano poniżej. Usuń wszystkie pozostałe publiczne repozytoria, które wskazują sieć (Repozytoria Cloudera).
  Ustawienia repozytorium paczki 
To jest CDH Lokalny adres URL repozytorium, w którym mamy Master1.
 
http: // 104.211.95.96/Cloudera-Repos/CDH/ 
  Cloudera Repo 
18. Po wprowadzeniu adresu URL repozytorium ta strona wyświetli tylko dostępne paczki. Kontynuuj ten krok.
  Wybierz Ustawienia repozytorium 
19. Teraz paczki są pobierane, rozpowszechniane, rozpakowywane i aktywowane na wszystkich dostępnych serwerach.
  Zainstaluj paczki 
20. Kiedyś Paczki CDH są aktywowane, sprawdź Grupa. Ten krok dokona kontroli zdrowia klastra. Tutaj pomijamy i kontynuujemy.
  Sprawdź klaster 
Krok 5: Konfiguracja klastra
 
21. Tutaj musimy wybrać Usługi do zainstalowania w Grupa. Niektóre zapakowane kombinacje będą dostępne domyślnie Usługi niestandardowe.
  Konfiguracja klastra 
22. W Usługi niestandardowe, Instalujemy tylko Komponenty podstawowe (HDFS I PRZĘDZA) W tym celu demo.
  Instaluj usługi 
23. Przypisz role do serwera. Możemy dostosować zgodnie z naszymi wymaganiami. Znajdź poniższy wykres, który opisuje zalecane Rozkład ról dla podstawowego małego klastra z 5 do 20 węzłami o wysokiej dostępności.
  Przypisz role  Zalecane rozkłady ról 
24. Wybierz typ bazy danych, nazwa hosta, nazwa DB, nazwa użytkownika i hasło. Ponieważ używamy wbudowanego postgresql, zostanie ono domyślnie wybrane. Przetestować połączenie, powinno się udać.
  Konfiguracja bazy danych 
25. Ta strona wyświetli domyślne parametry konfiguracji HDFS I Przędza, w tym katalogi danych. Przejrzyj wszystkie szczegóły konfiguracji i możesz wprowadzić zmiany w razie potrzeby. Następnie kontynuuj to.
  Przejrzyj parametry konfiguracji 
26. Ta strona pokaże szczegóły 'Pierwszy bieg' Komenda. Możesz go rozwinąć, aby zobaczyć szczegóły uruchamiania poleceń. Jeśli w klastrze występują jakieś problemy z sieciami lub uprawnieniami, ten krok spowoduje awarię. Zwykle ten krok decyduje o płynnej instalacji budynku klastra.
  Pierwsze uruchom polecenia  Uruchamianie poleceń 
27. Po zakończeniu powyższego kroku kliknijSkończyć„Aby zakończyć instalację. To jest pulpit pulpitowy Cloudera Manager po zainstalowaniu CDH.
 
http: // 104.211.95.96: 7180/cmf/dom 
  Pulpit nawigacyjny Cloudera Manager 
Wniosek
 
Ukończyliśmy Menedżer Cloudera I CDH instalacja pomyślnie. w Pulpit nawigacyjny Cloudera Manager, Możesz znaleźć wstępnie zdefiniowany zestaw wykresów, w którym można monitorować procesor klastra, dysk IO itp. Możemy zarządzać całym klastrem za pomocą tego Menedżer Cloudera. W nadchodzących artykułach zobaczymy wszystkie operacje administracyjne.