Jak zainstalować i skonfigurować Cloudera Manager na Centos/RhEL 7 - Część 3

W tym artykule opisaliśmy proces instalacji krok po kroku Menedżer Cloudera Zgodnie z praktykami przemysłowymi. W części 2 przeszliśmy już przez Wymagania wstępne Cloudera, upewnij się, że wszystkie serwery są doskonale przygotowane.

Wymagania

• Najlepsze praktyki wdrażania serwera Hadoop na CentOS/RHEL 7 - Część 1
• Konfigurowanie warunków wstępnych Hadoop i utwardzania bezpieczeństwa - część 2

Tutaj będziemy mieć 5 klastrów węzłów, w którym 2 mistrzów i 3 pracowników. używałem 5 AWS EC2 instancje zademonstrowania procedury instalacji. Nazwałem te 5 serwerów jak poniżej.

Master1.Tecmint.com Master2.Tecmint.com Worker1.Tecmint.com Worker2.Tecmint.com Worker3.Tecmint.com 

Menedżer Cloudera jest narzędziem administracyjnym i monitorującym dla całego CDH. Administrowanie zwykle nazywamy to narzędziem do zarządzania Cloudera Hadoop. Możemy wdrażać, monitorować, kontrolować i wprowadzać zmiany konfiguracji za pomocą tego narzędzia. Jest to bardzo istotne do zarządzania całym klastrem.

Poniżej znajdują się ważne zastosowania Cloudera Manager.

• Wdrażaj i skonfiguruj klastry Hadoop w zautomatyzowany sposób.
• Monitoruj zdrowie klastrów
• Skonfiguruj alerty
• Rozwiązywanie problemów
• Raportowanie
• Raport z wykorzystaniem klastrów
• Dynamicznie konfigurowanie zasobów

Krok 1: Instalowanie serwera WWW Apache na Centos

Będziemy używać Master1 Jako serwer WWW dla repozytoriów Cloudera. Ponadto Cloudera Manager to WebUi, więc musimy mieć Apache zainstalowane. Wykonaj poniższe kroki, aby zainstalować serwer WWW Apache.

# yum -y instaluj httpd 

Po zainstalowaniu HTTPD uruchom go i włącz, aby uruchomić go w rozruchu.

# Systemctl start httpd # Systemctl Włącz HTTPD 

Po uruchomieniu HTTPD upewnij się, że status.

# Status Systemctl HTTPD 

STATUS KAPIOWY-APACHES

Po rozpoczęciu HTTPD otwórz przeglądarkę w systemie lokalnym i wklej adres IP Master1 Na pasku wyszukiwania należy uzyskać tę stronę testową, aby upewnić się, że HTTPD działa dobrze.

Sprawdź stronę Apache

Krok 2: Skonfiguruj lokalne DN, aby rozwiązać IP i nazwę hosta

Musimy mieć serwer DNS lub skonfigurować /etc/hosts Aby rozwiązać IP i nazwę hosta. Tutaj konfigurujemy /etc/hosts, Ale w czasie rzeczywistym dedykowany serwer DNS będzie dostępny dla środowiska produkcyjnego.

Wykonaj poniższe kroki, aby zrobić wpis dla wszystkich serwerów /etc/hosts.

# vi /etc /hosts 

Należy to skonfigurować we wszystkich serwerach.

13.235.27.144 Master1.Tecmint.com Master1 13.235.135.170 Master2.Tecmint.com Master2 15.206.167.94 Worker1.Tecmint.Com Worker1 13.232.173.158 Worker2.Tecmint.Com Worker2 65.0.182.222 Pracownik3.Tecmint.com Worker3 

Skonfiguruj lokalne DN

Krok 3: Skonfiguruj login bez hasła SSH

Menedżer Cloudera jest instalowany Master1 W tej demonstracji. Musimy skonfigurować SSH bez hasła Master1 Do wszystkich innych węzłów. Ponieważ Menedżer Cloudera użyje SSH do komunikowania wszystkich innych węzłów do instalacji pakietów.

Wykonaj poniższe kroki, aby skonfigurować SSH bez hasła Master1 Do wszystkich pozostałych serwerów. Będziemy mieć użytkownikaTecmint'Aby kontynuować.

Utwórz użytkownika 'Tecmint„Wszystkie 4 serwery za pomocą polecenia useradd, jak pokazano.

# useradd -m tecMint 

Aby dać użytkownikowi przywilej głównyTecmint', dodaj poniższy wiersz do /etc/sudoers plik. Możesz dodać tę linię pod rootem jako podawanie w zrzucie ekranu.

TecMint all = (wszystkie) wszystkie 

Dodaj użytkownika do sudo

Przełącz na użytkownika 'Tecmint'i utwórz klucz SSH w Master1 Korzystanie z poniższego polecenia.

# sudo su tecmint $ ssh-keygen 

Teraz skopiuj utworzony klucz do wszystkich 4 serwerów za pomocą ssh-copy-id polecenie jak pokazano.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [e-mail chroniony] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [e-mail chroniony] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [e-mail chroniony] $ ssh-copy-id -i ~//.ssh/id_rsa.pub [e -mail chroniony] 

Teraz powinieneś być w stanie ssh Master1 pozostać wszystkich serwerów bez hasła, jak pokazano.

$ SSH Master2 $ SSH Worker1 $ SSH Worker2 $ SSH Worker3 

SSH SSH Bez hasła serwery logowania

Krok 4: Instalowanie i konfigurowanie Cloudera Manager

Możemy użyć sprzedawca (Cloudera) Repozytorium w celu zainstalowania wszystkich pakietów za pomocą narzędzi zarządzania pakietami w RHEL/CENTOS. W czasie rzeczywistym tworzenie własnego repozytorium jest najlepszą praktyką, ponieważ możemy nie mieć dostępu do Internetu na serwerach produkcyjnych.

Tutaj zamierzamy zainstalować Cloudera Manager 6.3.1 uwolnienie. Ponieważ będziemy używać Master1 Jako serwer Repo pobieramy pakiety na poniżej wspomnianej ścieżki.

Utwórz poniżej wspomniane katalogi Master1 serwer.

$ sudo mkdir -p/var/www/html/cloudera -repos/cm6 

Możemy użyć narzędzia WGET do pobierania pakietów przez HTTP. Więc zainstaluj wget Korzystanie z poniższego polecenia.

$ sudo yum -y instaluj wget 

Następnie pobierz plik TAR Cloudera Manager za pomocą następujące polecenie WGET.

$ wget https: // archiwum.Cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-Redhat7.smoła.GZ 

Wyodrębnij plik TAR do /var/www/html/cloudera-repos/cm6, Już zrobiliśmy Master1 jako WebServer, instalując http I przetestowaliśmy w przeglądarce.

$ sudo tar xvfz cm6.3.1-Redhat7.smoła.GZ -C/var/www/html/cloudera-repos/cm6--strip-komponenty = 1 

Teraz sprawdź, czy wszystkie pliki Cloudera RPM są tam /var/www/html/cloudera-repos/cm6/rpms/x86_64 informator.

$ cd/var/www/html/cloudera-repos/cm6 $ ll 

Wypisz pliki Cloudera

Tworzyć /etc/mniam.repozytorium.D/Cloudera-Manager.Repo pliki na wszystkich serwerach w hostach klastrów z następującą zawartością tutaj Master1 (65.0.101.148) to serwer WWW.

[Cloudera-Repo] Nazwa = Cloudera-Manager Baseurl = http: /// cloudera-repos/cm6/enabled = 1 gpgcheck = 0 

Teraz dodano repozytorium, uruchom poniższe polecenie, aby wyświetlić włączone repozytoria.

$ Yum Repolist 

Lista repozytorium Cloudera

Uruchom poniższe polecenie, aby wyświetlić wszystkie dostępne pakiety związane z Cloudera w repozytorium.

Dostępna lista $ Yum | Grep Cloudera* 

Wypisz pakiety Cloudera

Zainstaluj Cloudera-Manager-Server, Cloudera-Manager-Agent, Cloudera-Manager-Daemons Cloudera-Manager-Server-DB-2.

$ sudo yum instaluj Cloudera-Manager-Daemons Cloudera-Manager-Agent Cloudera-Manager-Server Cloudera-Manager-Server-DB-2 

Zainstaluj Cloudera w Centos

Uruchom poniższe polecenie, aby wyświetlić wszystkie zainstalowane pakiety Cloudera.

zainstalowana lista $ Yum | Grep Cloudera* 

Lista zainstalowanych pakietów Cloudera

Uruchom poniższe polecenie, aby rozpocząć Cloudera-SCM-SERVER-DB która jest podstawową bazą danych do przechowywania Menedżer Cloudera i inne metadane usługi.

Domyślnie, Cloudera wymyśla Postgre-SQL który jest osadzony w Menedżer Cloudera. Instalujemy wbudowaną, w zewnętrznej bazie danych w czasie rzeczywistym, którego można użyć. To może być Wyrocznia, Mysql, Lub PostgreSQL.

$ sudo systemctl start cloudera-scm-server-db 

Uruchom poniższe polecenie, aby sprawdzić status bazy danych.

$ sudo systemCtl Status Cloudera-SCM-SERVER-DB 

Sprawdź status bazy danych Cloudera

Skonfiguruj db.nieruchomości dla Menedżer Cloudera serwer.

$ vi/etc/cloudera-scm-server/db.nieruchomości 

Skonfiguruj poniższą wartość to OSADZONY robić Menedżer Cloudera Użyj Wbudowana baza danych.

com.Cloudera.CMF.db.setuppype = osadzony 

Skonfiguruj właściwości bazy danych Cloudera

Uruchom poniższe polecenie, aby uruchomić serwer Cloudera Manager.

$ sudo systemctl start cloudera-scm-server 

Uruchom poniższe polecenie, aby sprawdzić status Menedżer Cloudera serwer.

$ sudo systemCtl Status Cloudera-SCM-Server 

Sprawdź status Cloudera Manager

Uruchom poniższe polecenie, aby rozpocząć i sprawdzić status Menedżer Cloudera agent.

$ sudo systemctl start cloudera-scm-agent $ sudo systemctl status cloudera-scm-agent 

Sprawdź status agenta menedżera Cloudera Managera

Kiedyś Serwer Cloudera Manager Z powodzeniem uruchamiając się dobrze, możesz wyświetlić WebUI (strona logowania) w przeglądarce za pomocą adresu IP i numeru portu 7180 który jest numerem portu Menedżer Cloudera.

https: // 65.0.101.148: 7180 

Logowanie Cloudera Manager

Streszczenie

W tym artykule widzieliśmy krok po kroku proces instalacji Menedżer Cloudera NA Centos 7. W następnym artykule zobaczymy CDH i inne instalacje serwisowe.