Jak zainstalować Apache Kafka na Ubuntu 18.04

Apache Kafka to rozproszona platforma strumieniowa. Przydatne jest budowanie rurociągów danych w czasie rzeczywistym, aby uzyskać dane między systemami lub aplikacjami. Inną przydatną funkcją są aplikacje strumieniowe w czasie rzeczywistym, które mogą przekształcić strumienie danych lub reagować na strumień danych.

Ten samouczek pomoże Ci zainstalować Apache Kafka na Ubuntu 18.04 i Ubuntu 16.04 systemy Linux.

Krok 1 - Zainstaluj Java

Apache Kafka wymagał od Java. Musisz mieć zainstalowany w swoim systemie Java. Wykonaj poniższe polecenie, aby zainstalować domyślnie OpenJDK w swoim systemie z oficjalnych PPA. Możesz także zainstalować konkretną wersję stąd.

Aktualizacja sudo apt  sudo apt zainstaluj domyślne-jdk  

Krok 2 - Pobierz Apache Kafka

Pobierz pliki binarne Apache Kafka z oficjalnej strony pobierania. Możesz także wybrać dowolne pobliskie lustro do pobrania.

wget https: // dlcdn.Apache.org/kafka/3.2.0/kafka_2.13-3.2.0.TGZ  

Następnie wyodrębnij plik archiwum

TAR XZF KAFKA_2.13-3.2.0.TGZ  sudo mv kafka_2.13-3.2.0/usr/local/kafka  

Krok 3 - Ustawienie plików jednostek Kafka Systemd

Następnie utwórz pliki jednostek systemowych dla usługi Zookeeper i Kafka. Pomoże to zarządzać usługami Kafka w celu uruchomienia/zatrzymania korzystania z polecenia SystemCtl.

Najpierw utwórz plik jednostki SystemD dla Zookeeper z poniższym poleceniem:

sudo vim/etc/systemd/system/zookeeper.praca  

Dodaj poniżej zawartość:

[Jednostka] Opis = Apache Zookeeper Server Dokumentacja = http: // Zookeeper.Apache.org wymaga = sieć.celowe zdalne fs.Target po = sieć.celowe zdalne fs.Target [Service] Type = Simple ExecStart =/usr/local/kafka/bin/zookeeper-server-start.sh/usr/local/kafka/config/zookeeper.Właściwości execstop =/usr/local/kafka/bin/zookeeper-server-stop.SH RESTART = on-Abnormal [instalacja] Wantedby = Multi-User.cel 

Zapisz plik i zamknij go.

Następnie, aby utworzyć plik jednostki Kafka SystemD za pomocą następującego polecenia:

sudo vim/etc/systemd/system/kafka.praca  

Dodaj poniższą zawartość. Pamiętaj, aby ustawić poprawne Java_home ścieżka zgodnie z instalacją Java w twoim systemie.

[Jednostka] Opis = Apache Kafka Server Documentation = http: // kafka.Apache.org/dokumentacja.html wymaga = Zookeeper.Service [Service] Type = proste środowisko = "java_home =/usr/lib/jvm/java-1.11.0-OPENJDK-AMD64 "execstart =/usr/local/kafka/bin/kafka-server-start.sh/usr/local/kafka/config/serwer.Właściwości execstop =/usr/local/kafka/bin/kafka-server-stop.sh [instalacja] WantedBy = Multi-użytkownik.cel 

Zapisz plik i zamknij.

Załaduj demona systemu, aby zastosować nowe zmiany.

SystemCtl Demon-Reload  

Krok 4 - Rozpocznij serwer Kafka

Kafka wymagała Zookeeper, więc najpierw uruchom serwer Zookeeper w swoim systemie. Możesz użyć skryptu dostępnego z Kafka, aby rozpocząć instancję Zookeeper w pojedynczym węźle.

sudo systemctl start zookeeper  

Teraz uruchom serwer Kafka i wyświetl status działający:

sudo systemctl start kafka  SUDO Systemctl Status Kafka  

Wszystkie zrobione. Instalacja Kafka została pomyślnie zakończona. Ta część tego samouczka pomoże Ci pracować z serwerem Kafka.

Krok 5 - Utwórz temat w Kafka

Kafka zapewnia na nim wiele wstępnie zbudowanego skryptu powłoki. Najpierw utwórz temat o nazwie „TestTopic” z pojedynczą partycją z jedną repliką:

CD/USR/Local/Kafka  Bin/Kafka-Topics.sh-Create-bootstrap-server localhost: 9092-Odreplikacja-fakt 1-działki 1-Topic Testtopic  Utworzono Temat Testtopic. 

Współczynnik replikacji opisuje, ile kopii danych zostanie utworzonych. Gdy działa z jednym instancją, zachowaj tę wartość 1.

Ustaw opcje partycji jako liczbę brokerów, które chcesz, aby Twoje dane zostały podzielone. Gdy działa z jednym brokerem, zachowaj tę wartość 1.

Możesz tworzyć wiele tematów, uruchamiając to samo polecenie jak powyżej. Następnie możesz zobaczyć utworzone tematy na Kafce za pomocą komendy uruchomionego poniżej:

Bin/Kafka-Topics.sh - -list --zookeeper LocalHost: 9092  TESTTOPIC TECADMINTUTORIAL1 TECADMINTUTORIAL2 

Alternatywnie, zamiast ręcznego tworzenia tematy.

Krok 6 - Wyślij wiadomości do Kafki

„Producent” to proces odpowiedzialny za umieszczanie danych w naszej Kafce. Kafka jest wyposażona w klienta wiersza poleceń, który przyjmie dane wejściowe z pliku lub ze standardowego wejścia i wyśle ​​go jako wiadomości do klastra Kafka. Domyślna Kafka wysyła każdą wiersz jako osobną wiadomość.

Uruchommy producent, a następnie wpiszmy kilka wiadomości do konsoli, aby wysłać na serwer.

Bin/Kafka-Consol-Producer.SH-Broker-List LocalHost: 9092-Topic Testtopic > Witaj w Kafka> To jest mój pierwszy temat> 

Możesz wyjść z tego polecenia lub utrzymać ten terminal w celu dalszego testowania. Teraz otwórz nowy terminal do procesu konsumenckiego Kafka na następnym kroku.

Krok 7 - Korzystanie z Kafka Consumer

Kafka ma również konsumenta z wiersza poleceń do odczytu danych z klastra Kafka i wyświetlanie komunikatów do standardowego wyjścia.

Bin/Kafka-Console-Consumer.sh-bootstrap-server localhost: 9092-Topic Testtopic-z-beginning  Witaj w Kafka, to mój pierwszy temat 

Teraz, jeśli nadal pracujesz Kafka (krok #6) w innym terminalu. Po prostu wpisz trochę tekstu na tym terminalu producenta. będzie natychmiast widoczny na terminalu konsumenckim. Zobacz poniższy zrzut ekranu producenta i konsumenta Kafka w pracy:

Wniosek

Pomyślnie zainstalowałeś i skonfigurowałeś usługę Kafka na swoim komputerze Ubuntu Linux.