Zainstaluj i skonfiguruj Apache Oozie Scheduler dla CDH 4.X na RHEL/CENTOS 6/5

Oozie jest harmonogramem open source dla Hadoop, upraszcza przepływ pracy i współrzędność między pracą. Możemy zdefiniować zależność między zadaniami dla danych wejściowych, a tym samym możemy zautomatyzować zależność zadań za pomocą harmonogramu Ooze.

W tym samouczku zainstalowałem Oozie w moim węźle głównym (ja.mi. gospodarz jako nazwa hosta i gdzie Namenode/jt są instalowane) jednak w systemie produkcyjnym Oozie powinien być zainstalowany w oddzielnym węźle Hadoop.

Instrukcje instalacji są podzielone na dwie części, nazywamy to A I B.

1. A. Instalacja Oozie.
2. B. Konfiguracja Oozie.

Najpierw zweryfikujmy nazwę hosta systemu, używając następującychNazwa hosta' Komenda.

[[chroniony e -mail]]# nazwa hosta gospodarz

Metoda A: Instalacja Oozie na RHEL/CENTOS 6/5

Używamy oficjalnego repozytorium CDH ze strony Cloudera do instalacji CDH4. Przejdź do oficjalnej sekcji pobierania CDH i pobierz CDH4 (i.mi. 4.6) wersja lub możesz również użyć następujących wget polecenie do pobrania repozytorium i zainstalowania.

Na RHEL/CENTOS 6

# wget http: // archiwum.Cloudera.COM/CDH4/One Click-Install/Redhat/6/i386/Cloudera-CDH-4-0.i386.RPM # Yum-NogpgCheck LocalInstall Cloudera-CDH-4-0.i386.RPM # wget http: // archiwum.Cloudera.COM/CDH4/One Click-install/Redhat/6/x86_64/Cloudera-CDH-4-0.x86_64.RPM # Yum-NogpgCheck LocalInstall Cloudera-CDH-4-0.x86_64.RPM

Na RHEL/CENTOS 5

# wget http: // archiwum.Cloudera.COM/CDH4/One Click-Install/Redhat/5/i386/Cloudera-CDH-4-0.i386.RPM # Yum-NogpgCheck LocalInstall Cloudera-CDH-4-0.i386.RPM # wget http: // archiwum.Cloudera.COM/CDH4/One Click-Install/Redhat/5/x86_64/Cloudera-CDH-4-0.x86_64.RPM # Yum-NogpgCheck LocalInstall Cloudera-CDH-4-0.x86_64.RPM

Po dodaniu repozytorium CDH w swoim systemie możesz użyć następującego polecenia, aby zainstalować Oozie w systemie.

[[e -mail chroniony] ~]# mniam instalacja oozie

Teraz zainstaluj klient Oozie (powyższe polecenie powinno pokryć część instalacji klienta, jednak jeśli nie, wypróbuj poniżej polecenie).

[[e-mail chroniony] ~]# mniam instalacja Oozie-Client

Notatka: Powyższa instalacja konfiguruje również usługę Oozie do uruchamiania w uruchomieniu systemowym. Dobra robota! Skończyliśmy z pierwszą częścią instalacji, przejdźmy do drugiej części, aby skonfigurować Oozie.

Metoda B: Konfiguracja Oozie na RHEL/CENTOS 6/5

Ponieważ Oozie nie wchodzi bezpośrednio z Hadoop, nie potrzebujemy tutaj żadnej zmapowanej konfiguracji.

Ostrożność: Prosimy o skonfigurowanie wszystkich ustawień, gdy Oozie nie działa, oznacza to, że musisz wykonać poniżej kroki, gdy usługa Oozie nie działa.

Oozie maderby„Jako domyślnie wbudowane w DB zalecam jednak użycie MySQL DB. Zainstalujmy więc bazę danych MySQL za pomocą następującego artykułu.

1. Zainstaluj bazę danych MySQL w RHEL/CENTOS 6/5

Po zakończeniu części instalacyjnej, następne przejdź dalej, aby utworzyć uprawnienia Oozie DB i dotacji, jak pokazano poniżej.

[[e -mail chroniony] ~]# mysql -uroot -p Wprowadź hasło: Witamy w monitor MySQL. Polecenia kończą się; lub \ g. Twój identyfikator połączenia MySQL to 3 wersja serwerowa: 5.5.38 MySQL Community Server (GPL) autorstwa Remi Copyright (c) 2000, 2014, Oracle i/lub jej podmiotów stowarzyszonych. Wszelkie prawa zastrzeżone. Oracle jest zarejestrowanym znakiem towarowym Oracle Corporation i/lub jej podmiotów stowarzyszonych. Inne nazwy mogą być znakami towarowymi ich właścicieli. Typ „Pomoc”; lub „\ h”, aby uzyskać pomoc. Typ „\ c”, aby wyczyścić bieżącą instrukcję wejściową. mysql> Utwórz bazę danych Oozie; Zapytanie OK, dotknięty 1 rząd (0.00 s) mysql> przyznać wszystkie przywileje na Oozie.* do „oozie”@„localhost” zidentyfikowane przez „oozie”; Zapytanie OK, 0 dotkniętych wierszy (0.00 s) mysql> przyznać wszystkie przywileje na Oozie.* do „oozie”@'%' identyfikowany przez „oozie”; Zapytanie OK, 0 dotkniętych wierszy (0.00 s) mysql> Wyjście Do widzenia

Następnie skonfiguruj właściwości Oozie dla MySQL. Otwarty 'Site Oozie.XML„Plik i edytuj następujące właściwości, jak pokazano.

[[e-mail chroniony] ~]# cd/etc/oozie/conf [[e-mail chroniony] conf]# vi oozie-site.XML

Wprowadź następujące właściwości (po prostu zastąp Master [mój Nazwa hosta] z Twoim Nazwa hosta).

 Oozie.praca.Jpaservice.JDBC.Driver Com.Mysql.JDBC.Driver Oozie.praca.Jpaservice.JDBC.url jdbc: mysql: //gospodarz: 3306/oozie oozie.praca.Jpaservice.JDBC.Nazwa użytkownika Oozie Oozie.praca.Jpaservice.JDBC.Hasło Oozie 

Pobierz i dodaj Mysql JDBC słoik sterownika łączności do katalogu Oozie Lib. Aby to zrobić, uruchom następujące poważne polecenie na terminalu.

[[chroniony e -mail] oozie]# cd/tmp/[[chroniony e -mail] tmp]# wget http: // dev.Mysql.com/get/pobrań/connector-j/mysql-connector-java-5.1.31.smoła.GZ [[e-mail chroniony] tmp]# tar -zxf mysql-connector-java-5.1.31.smoła.GZ [[e-mail chroniony] tmp]# cd mysql-connector-java-5.1.31 [[chroniony e-mail] MySQL-Connector-java-5.1.31]# CP MySQL-Connector-java-5.1.31-bin.jar/var/lib/oozie/

Utwórz schemat bazy danych Oozie, wykonując poniższe polecenia i pamiętaj, że należy to uruchomić jako użytkownik Oozie.

[[e -mail chroniony] ~]# sudo -u oozie/usr/lib/oozie/bin/ooziedb.sh Create -run

Przykładowy wyjście

Ustawienie oozie_config =/etc/oozie/conf ustawienie oozie_data =/var/lib/oozie Ustawienie oozie_log =/var/log/oozie ustawienie Oozie_Catalina_PID =/lib/lib/bigtop-tomcat ustawienie Catalina_tmpdir =/var/lib/oozie /var/run/oozie/oozie.Ustawienie PID Catalina_base =/usr/lib/oozie/oozie-server-0.20 Ustawienie Catalina_Opts = -xMX1024m Ustawienie OOZIE_HTTPS_PORT = 11443… Wykonano Oozie DB dla Oozie wersja '3.3.2-CDH4.7.0 'Polecenia SQL zostały napisane do: /tmp/ooziedb-8250405588513665350.SQL

Musisz pobrać Extjs lib z Internetu, aby włączyć konsolę internetową Oozie. Przejdź do oficjalnej strony CDH extJS i pobierz Extjs wersja 2.2 biblioteki lub możesz pobrać pakiet za pomocą następującego polecenia.

[[e -mail chroniony] ~]# cd/tmp/[[chroniony e -mail] tmp]# wget http: // archiwum.Cloudera.com/gplextras/misc/ext-2.2.Zip [[chroniony e-mail] tmp]# Unzip ext-2.2.Zip [[chroniony e-mail] tmp]# mv ext-2.2/var/lib/oozie/

Na koniec uruchom serwer Oozie, uruchamiając następujące polecenia.

[[chroniony e -mail] tmp]# usługa status oozie nie działa. [[[chroniony e -mail] tmp]# usługa oozie start [[chroniony e -mail] tmp]# usługa status oozie uruchomiony [[e -mail chroniony] tmp]# oozie admin -oozie http: // localhost: 11000/oozie -Status Tryb systemowy: normalny

Otwórz interfejs użytkownika Oozie za pomocą ulubionej przeglądarki i wskazać swój adres IP. W tym przypadku mój adres IP jest 192.168.1.129.

http: // 192.168.1.129: 11000

Teraz, jeśli zobaczysz ten interfejs użytkownika. Gratulacje!! Pomyślnie skonfigurowałeś Oozie.

Ta procedura została pomyślnie przetestowana Rhel/Centos 6/5. W moich nadchodzących artykułach zamierzam podzielić się sposobem skonfigurowania i planowania Hadoop Jobs za pośrednictwem Oozie. Pozostań w kontakcie o więcej i nie zapomnij skomentować swojej opinii.