Jak zainstalować Apache Kafka na Centos 8

Apache Kafka to rozproszona platforma strumieniowa. Przydatne jest budowanie rurociągów danych w czasie rzeczywistym, aby uzyskać dane między systemami lub aplikacjami. Inną przydatną funkcją są aplikacje strumieniowe w czasie rzeczywistym, które mogą przekształcić strumienie danych lub reagować na strumieniu danych.

Ten samouczek pomoże Ci zainstalować Apache Kafka Centos 8 lub Rhel 8 Linux Systems.

Wymagania wstępne

• Nowo zainstalowany system zalecany do przestrzegania początkowej konfiguracji serwera.
• Dostęp do systemu Centos 8 z konto Sudo uprawnień.

Krok 1 - Zainstaluj Java

Musisz mieć zainstalowany w systemie Java, aby uruchomić Apache Kafka. Możesz zainstalować OpenJDK na swoim komputerze, wykonując następujące polecenie. Zainstaluj także inne wymagane narzędzia.

sudo dnf instaluj java-11-openjdk wget vim  

Krok 2 - Pobierz Apache Kafka

Pobierz pliki binarne Apache Kafka z oficjalnej strony pobierania. Możesz także wybrać dowolne pobliskie lustro do pobrania.

wget https: // dlcdn.Apache.org/kafka/3.2.0/kafka_2.13-3.2.0.TGZ  

Następnie wyodrębnij plik archiwum

TAR XZF KAFKA_2.13-3.2.0.TGZ  sudo mv kafka_2.13-3.2.0/usr/local/kafka  

Krok 3 - Ustawienie plików jednostek Kafka Systemd

Centos 8 korzysta z SystemD do zarządzania stanem usług. Musimy więc utworzyć pliki jednostek SystemD dla usługi Zookeeper i Kafka. Co pomaga nam zarządzać usługami Kafka w celu rozpoczęcia/zatrzymania.

Najpierw utwórz plik jednostki SystemD dla Zookeeper z poniższym poleceniem:

vim/etc/systemd/system/zookeeper.praca 

Dodaj poniżej Contnet:

[Jednostka] Opis = Apache Zookeeper Server Dokumentacja = http: // Zookeeper.Apache.org wymaga = sieć.celowe zdalne fs.Target po = sieć.celowe zdalne fs.Target [Service] Type = Simple ExecStart =/usr/bin/bash/usr/local/kafka/bin/zookeeper-server-start.sh/usr/local/kafka/config/zookeeper.Właściwości execstop =/usr/bin/bash/usr/local/kafka/bin/zookeeper-server-stop.SH RESTART = on-Abnormal [instalacja] Wantedby = Multi-User.cel 

Zapisz plik i zamknij go.

Następnie, aby utworzyć plik jednostki Kafka SystemD za pomocą następującego polecenia:

vim/etc/systemd/system/kafka.praca 

Dodaj poniższą zawartość. Pamiętaj, aby ustawić poprawne Java_home ścieżka zgodnie z instalacją Java w twoim systemie.

[Jednostka] Opis = Apache Kafka Server Documentation = http: // kafka.Apache.org/dokumentacja.html wymaga = Zookeeper.Service [Service] Type = proste środowisko = "java_home =/usr/lib/jvm/jre-11-openjdk" execStart =/usr/bin/bash/usr/local/kafka/bin/kafka-server-start.sh/usr/local/kafka/config/serwer.Właściwości execstop =/usr/bin/bash/usr/local/kafka/bin/kafka-server-stop.sh [instalacja] WantedBy = Multi-użytkownik.cel 

Zapisz plik i zamknij go.

Załaduj demon systemu, aby zastosować zmiany.

SystemCtl Demon-Reload 

Krok 4 - Rozpocznij serwer Kafka

Kafka wymagała Zookeeper, więc najpierw uruchom serwer Zookeeper w swoim systemie. Możesz użyć skryptu dostępnego z Kafka, aby rozpocząć instancję Zookeeper w pojedynczym węźle.

sudo systemctl start zookeeper 

Teraz uruchom serwer Kafka i wyświetl status działający:

sudo systemctl start kafka sudo systemctl status kafka 

Wszystkie zrobione. Pomyślnie zainstalowałeś Kafkę w Centos 8. Kolejna część tego samouczka pomoże ci tworzyć tematy w klastrze Kafka i współpracować z producentem Kafka i usługą konsumencką.

Krok 5 - Tworzenie tematów w Apache Kafka

Apache Kafka zapewnia na nim wiele skryptu powłoki. Najpierw utwórz temat o nazwie „Testtopic”Z jedną partycją z pojedynczą repliką:

CD/USR/Local/Kafka Bin/Kafka-Topics.sh-Create-bootstrap-server localhost: 9092-Odreplikacja-fakt 1-partie 1-Topic TestTopic stworzony temat TETMTOPIC. 

Factor replikacji opisuje, ile kopii danych zostanie utworzonych. Gdy działa z jednym instancją, zachowaj tę wartość 1.

Ustaw opcje partycji jako liczbę brokerów, które chcesz, aby Twoje dane zostały podzielone. Gdy działa z jednym brokerem, zachowaj tę wartość 1.

Możesz tworzyć wiele tematów, uruchamiając to samo polecenie jak powyżej. Następnie możesz zobaczyć utworzone tematy na Kafce za pomocą komendy uruchomionego poniżej:

Bin/Kafka-Topics.sh - -list -zookeeper LocalHost: 9092 Testtopic Kafkaoncentos8 Tutorialkafkainstallcentos8 

Alternatywnie, zamiast ręcznego tworzenia tematy.

Krok 6 - producent i konsument Apache Kafka

„Producent” to proces odpowiedzialny za umieszczanie danych w naszej Kafce. Kafka jest wyposażona w klienta wiersza poleceń, który przyjmie dane wejściowe z pliku lub ze standardowego wejścia i wyśle ​​go jako wiadomości do klastra Kafka. Domyślna Kafka wysyła każdą wiersz jako osobną wiadomość.

Uruchommy producent, a następnie wpiszmy kilka wiadomości do konsoli, aby wysłać na serwer.

Bin/Kafka-Consol-Producer.SH-Broker-List LocalHost: 9092-Topic Testtopic> Witamy w Kafka> To jest mój pierwszy temat> 

Teraz otwórz nowy terminal, aby uruchomić proces konsumencki Apache Kafka. Kafka zapewnia również, że konsument wiersza polecenia do odczytu danych z klastra Kafka i wyświetlania komunikatów do standardowego wyjścia.

Bin/Kafka-Console-Consumer.sh-bootstrap-server localhost: 9092-Topic Testtopic-From-Beginning Welcome to Kafka To jest mój pierwszy temat 

Opcja -z -begining jest używana do czytania wiadomości od początku wybranego tematu. Możesz pominąć tę opcję, aby odczytać tylko najnowsze wiadomości.

Na przykład uruchom producenta i konsumenta Kafka w osobnych terminach. Po prostu wpisz trochę tekstu na tym terminalu producenta. Będzie to natychmiast widoczne na terminalu konsumenckim. Zobacz poniższy zrzut ekranu producenta i konsumenta Kafka w pracy:

Wniosek

Pomyślnie zainstalowałeś i skonfigurowałeś usługę Kafka na komputerze Linux Centos 8.