Cum se instalează Kafka? - Ghid pentru instalarea Kafka pe Windows și Linux

Cum se instalează Kafka?

Kafka este o platformă de streaming distribuită. Ajută la publicarea și abonarea fluxurilor de înregistrări. Kafka este de obicei utilizat pentru construirea de conducte de date în streaming în timp real care obțin date fiabile între diferite sisteme și aplicații. De asemenea, poate ajuta la crearea de aplicații de streaming în timp real care ajută la transformarea sau modificarea fluxurilor de date. Kafka permite stocarea fluxurilor de înregistrări în diferite categorii numite subiecte. Fiecare înregistrare este formată dintr-o cheie, o valoare și o marcă de timp. Are patru componente majore precum API-ul producătorului, API-ul consumatorului, API-ul fluxurilor și API-ul conectorilor. Utilizează protocolul TCP, care este o bună comunicare între clienți și servere cu performanțe ridicate. Pentru a instala Kafka, urmați pașii următori.

Instalați Kafka pe sistemul de operare Windows

Pentru instalarea Kafka pe Windows, urmați pașii de mai jos:

Pasul 1. Descărcați Zookeeper de pe următorul link: HTTP: //zookeeper.apache.org/releases.html

După ce faceți acest lucru, descărcați Kafka de la următorul link: http://kafka.apache.org/downloads.html

Descărcați, de asemenea, JRE în funcție de sistemul de operare și arhitectura procesorului de la linkul de mai jos: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

Pasul 2. Configurarea JDK

Începeți instalarea JRE, apoi faceți clic pe caseta de selectare „Schimbare folder destinație”. Acum, faceți clic pe Instalare.

Odată făcut acest lucru, schimbați directorul la orice cale fără spații în numele folderului.

Pasul 3. Odată făcut acest lucru, deschideți variabilele de mediu din Panoul de control -> Sistem -> Setări avansate de sistem -> Variabile de mediu.

Pasul 4. Faceți clic pe Variabilă utilizator nou în fila Variabilă utilizator și apoi tastați JAVA_HOME în numele variabilei. Introduceți calea JRE în secțiunea Valoare variabile. Ar trebui să fie după cum urmează:

Pasul 5. Acum faceți clic pe OK.

Pasul 6. Căutați o variabilă de cale în secțiunea „Variabilă de sistem” din caseta de dialog „Variabilă de mediu” care este deschisă.

Pasul 7. Editați calea și tastați „;% JAVA_HOME% \ bin” la sfârșitul textului deja scris acolo, la fel ca imaginea de mai jos:

Pasul 8. Pentru a verifica dacă Java este instalat corespunzător, mergeți la promptul de comandă și tastați „java - versiunea”. Versiunea Java care este instalată va fi afișată pe ecran.

Dacă vedeți detaliile de mai sus în promptul de comandă, atunci sunteți bun din partea Java.

După ce Java este instalat, puteți acum să vă mutați pentru a finaliza configurarea Zookeeper.

Urmați pașii de mai jos pentru a instala Zookeeper pe sistemul dvs.:

• Deschideți directorul în care există directorul de configurare Zookeeper. Poate fi C: \ zookeeper-3.4.7 \ conf.
• Redenumiți fișierul „zoo_sample.cfg” în „cfg”
• Deschideți acest fișier redenumit în Notepad.
• Găsiți și editați următoarele: dataDir = / tmp / zookeeper to \ zookeeper-3.4.7 \ data
• La fel cum am adăugat variabilă de mediu pentru Java, adăugăm o variabilă de mediu pentru Zookeeper.
• Setați calea variabilei de sistem ca: dataDir = / tmp / zookeeper la: \ zookeeper-3.4.7 \ data
• Editați variabila de sistem numită „Calea” și adăugați; % ZOOKEEPER_HOME% \ bin;
• Portul implicit pentru Zookeeper este 2181, care poate fi schimbat în orice alt port, accesând fișierul zoo.cfg.
• Rulați Zookeeper deschizând un nou cmd și tastați „zkserver”. Veți vedea detaliile de mai jos.

După ce vedeți acest ecran, trebuie să fiți sigur că Zookeeper a fost instalat cu succes.

Înființarea Kafka

După ce aveți Java și Zookeeper funcționat pe sistemul dvs., puteți continua să configurați Kafka.

• Accesați directorul de configurare Kafka.
• Editați fișierul „server.properties”.
• Odată făcut acest lucru, puteți găsi și edita linia în care vedeți: dirs = / tmp / kafka-logs la „log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
• Dacă aveți Zookeeper rulat pe o altă mașină, puteți modifica această cale în „zookeeper.connect: 2181” la un IP și un ID de port personalizate.
• Portul implicit pentru Kafka este portul 9092 și pentru a vă conecta la Zookeeper este 2181.

Rularea unui server Kafka

După ce configurația inițială este finalizată, puteți rula cu ușurință un server Kafka

Înainte de a rula serverul Kafka, trebuie să vă asigurați că instanța Zookeeper este în funcțiune.

1. Accesați directorul de instalare Kafka: C: /kafka_2.11-0.9.0.0

2. Deschideți promptul de comandă și apăsați Shift + clic dreapta și alegeți opțiunea „Deschide fereastra de comandă aici”.

3. Introduceți acum. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties și apăsați Enter.

După ce executați acest lucru și totul este în regulă, atunci ecranul dvs. ar trebui să arate ca mai jos:

4. Acum serverul dvs. Kafka este în funcțiune. Puteți crea propriile subiecte pentru a stoca diferite mesaje. Odată făcut acest lucru, puteți produce și consuma date din codul Java sau Scala sau puteți rula direct din promptul de comandă.

Instalați Kafka pe Linux

Urmați pașii de mai jos pentru a instala Kafka pe Linux:

Pasul 1. Descarcă și extrage binarele Kafka și stochează-le în directoare.

Pasul 2. Extrageți arhiva pe care o descărcați folosind comanda tar.

Pasul 3. Pentru a configura Kafka accesați server.properties. Deschideți acest fișier folosind comanda nano și adăugați următoarele în partea de jos a fișierului.

nano ~/Kafka/config/server.properties

delete.topic.enable = true

Pasul 4. Odată ce acest lucru este finalizat, utilizatorul va trebui să creeze fișiere de unități de sistem pentru serviciile Kafka. Acest lucru ajută la efectuarea acțiunilor de serviciu comune, cum ar fi pornirea, oprirea și repornirea Kafka într-o manieră consecventă cu alte servicii Linux. Zookeeper este un serviciu folosit de Kafka pentru a-și gestiona clusterul și configurațiile.

Pasul 5. Pentru a crea un fișier de unitate pentru Zookeeper urmează mai jos:

sudo nano /etc/systemd/system/zookeeper.service

Pasul 6. Odată ce acest fișier zookeeper este creat, lipiți mai jos în el:

(Unit) Requires=network.target remote-fs.target
After=network.target remotefs.target
(Service) Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
(Install) WantedBy=multi-user.target

Această secțiune (unitate) specifică aici că Zookeeper necesită rețea și sistemul de fișiere să fie gata înainte de a putea începe.

Secțiunea (Service) anunță sistemul că fișierele zookeeper-server-start.sh și zookeeper-server-stop.sh sunt prezente pentru pornirea și oprirea serviciilor.

Pasul 7. Acum, utilizatorul ar trebui să creeze un fișier de sistem pentru Kafka după cum urmează:
sudo nano /etc/system/system/Kafka.service

Pasul 8. În acest fișier lipiți mai jos:

(Unit) Requires=zookeeper.service
After=zookeeper.service
(Service) Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh
/home/kafka/kafka/config/server.properties >
/home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal
(Install) WantedBy=multi-user.target

Aici (Unitatea) specifică faptul că fișierul unității depinde de zookeeper.service. Acest lucru asigură că zookeeper este pornit înainte de a începe Kafka.

Pasul 9. Acum trebuie să activați Kafka și să reporniți serverul. Run: sudo systemctl activează Kafka

Pasul 10. Testarea instalării:

Puteți testa Instalarea Kafka creând un subiect și apoi publicându-l consumatorilor.

Creați un subiect după : ~ / Kafka / bin / Kafka-topics.sh –create –zookeeper localhost: 2181 –replication factor 1 –partitions 1 –Topic TutorialTopic

Postarea acestui utilizator poate crea producători și consumatori și apoi poate publica orice date la subiectele specifice.

Articole recomandate

Acesta a fost un ghid pentru Instalarea Kafka. Aici am discutat diferiți pași pentru instalarea Kafka pe Windows și Linux. De asemenea, puteți consulta următoarele articole pentru a afla mai multe -

1. Pasul pentru instalarea Java 8
2. Cum se instalează C
3. Ghid pentru instalarea rubinului
4. Aplicații Kafka
5. JRE vs JVM | Top 8 diferențe cu (Infografie)