Postavljanje Kafke: 4 koraka

2024 Autor: John Day | [email protected]. Zadnja izmjena: 2024-01-30 08:06

Uvod:

Apache Kafka je otvoreni izvorni skalabilan i visokopropusni sistem za razmjenu poruka koji je razvila Apache Software Foundation napisana u Scali. Apache Kafka je posebno dizajniran da dozvoli da jedan klaster služi kao centralna okosnica podataka za veliko okruženje. Ima mnogo veću propusnost u odnosu na druge sisteme za posredovanje poruka kao što su ActiveMQ i RabbitMQ. Sposoban je efikasno rukovati velikim količinama podataka u stvarnom vremenu. Kafku možete postaviti na jedan Apache poslužitelj ili u distribuiranom klasterskom okruženju.

Karakteristike:

Opće karakteristike Kafke su sljedeće:

Trajna poruka na disku koja pruža konstantne vremenske performanse.

Veliki protok sa diskovnim strukturama koje podržavaju stotine hiljada poruka u sekundi.

Distribuirani sistem se lako prilagođava bez zastoja.

Podržava više pretplatnika i automatski balansira potrošače za vrijeme kvara.

Ovaj vodič prikazuje kako instalirati i konfigurirati Apache Kafku na Ubuntu 16.04 poslužitelju.

Zahtevi

Ubuntu 16.04 server.

Korisnički račun koji nije root, sa super korisničkim privilegijama postavljenim na vašem serveru.

Korak 1: Početak rada i instaliranje Jave

1) Počnimo provjeravati je li vaš Ubuntu 16.04 server potpuno ažuriran

Možete ažurirati svoj poslužitelj pokretanjem sljedećih naredbi:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) Instaliranje Jave

Pomoću sljedeće naredbe provjerite ima li vaša mašina već instaliranu Java ili ima zadanu verziju Java-a:-

java -verzija

Čak i ako imate javu, ali nižu verziju, morat ćete je nadograditi.

Java možete instalirati na sljedeći način:-

sudo apt-get install default-jdk

ILI

Možete instalirati Oracle JDK 8 koristeći PPA spremište tima Webupd8 tima.

Da biste dodali spremište, pokrenite sljedeću naredbu:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Korak 2: Instalirajte Zookeeper

Šta je Zookeeper?

Zookeeper je centralizirana usluga za održavanje konfiguracijskih informacija, imenovanje, distribuiranu sinkronizaciju i pružanje grupnih usluga. Sve ove vrste usluga u nekom ili drugom obliku koriste distribuirane aplikacije. Svaki put kada se implementiraju, puno se radi na popravljanju grešaka i trkačkih uslova koji su neizbježni. Zbog poteškoća u implementaciji ovih vrsta usluga, aplikacije ih u početku obično štede, što ih čini krhkim u prisustvu promjena i njima je teško upravljati. Čak i ako su ispravno izvedene, različite implementacije ovih usluga dovode do složenosti upravljanja prilikom implementacije aplikacija.

Prije instaliranja Apache Kafke morat ćete imati dostupnog i pokrenutog programa Zookeeper. ZooKeeper je usluga otvorenog koda za održavanje konfiguracijskih informacija, pružanje distribuirane sinhronizacije, imenovanje i pružanje grupnih usluga.

1) Podrazumevano je paket Zookeeper dostupan u podrazumevanom spremištu Ubuntu -a

Možete ga instalirati pokretanjem sljedeće naredbe:-

sudo apt-get install zookeeperd

Kada instalacija završi, automatski će se pokrenuti kao demon. Prema zadanim postavkama Zookeeper će raditi na portu 2181.

Možete ga testirati pokretanjem sljedeće naredbe:

netstat -ant | grep: 2181

Iskaz bi vam trebao pokazati da se sluša port 2181.

Korak 3: Instalirajte i pokrenite Kafka Server

Sada kada su Java i ZooKeeper instalirani, vrijeme je za preuzimanje i izdvajanje Kafke s web stranice Apache.

1) Možete koristiti curl ili wget za preuzimanje Kafke: (Kafka verzija 0.10.1.1)

Pokrenite sljedeću naredbu da preuzmete postavku kafke:-

curl -O

ILI

wget

2) Kreirajte direktorij za Kafku

Zatim stvorite direktorij za instalaciju Kafke:

sudo mkdir /opt /kafka

cd /opt /kafka

3) Raspakirajte preuzetu fasciklu

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Promijenite korisničko ime u skladu sa svojim korisničkim imenom

4) Pokrenite kafka server

Sljedeći korak je pokretanje Kafka servera, možete ga pokrenuti pokretanjem skripte kafka-server-start.sh koja se nalazi u /opt/kafka/kafka_2.11-0.10.1.1/bin/ direktoriju pomoću sljedeće naredbe:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Provjerite radi li Kafka Server dobro

Sada imate Kafka poslužitelj pokrenut i sluša na portu 9092.

Sada možemo provjeriti portove za slušanje:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Korak 4: Testirajte svoj Kafka server

Sada je vrijeme da provjerite da li server Kafka radi ispravno.

1) Kreirajte novu temu

Da biste testirali Kafku, stvorite uzorak teme s imenom "testing" u Apache Kafki pomoću sljedeće naredbe:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --napravi --topic testiranje --zookeeper localhost: 2181 --particije 1-faktor replikacije 1

2) Provjerite je li vaša tema uspješno kreirana

Sada zamolite Zookeeper -a da navede dostupne teme na Apache Kafki pokretanjem sljedeće naredbe:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Objavite poruku koristeći temu koju ste kreirali

echo "hello world" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-lokalna lista brokerskih lista: 9092 --tematsko testiranje

4) Primite poruku o kreiranoj temi

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --tematsko testiranje –od početka

5) Za slanje datoteke pomoću kafke preko teme

kafka-console-producer.sh --brokerska lista localhost: 9092 –tematsko testiranje