Introducere în Instrumente Kafka
Kafka Tools este o colecție de instrumente diferite, pe care le putem administra Clusterul Kafka. Instrumentele sunt bazate pe linie de comandă, dar sunt disponibile și instrumente bazate pe interfață de utilizator care pot fi descărcate și instalate.
Putem folosi instrumente Kafka pentru a efectua diferite operațiuni precum:
- Enumerați Clusterele Kafka disponibile și brokerii lor, subiectele și consumatorii.
- Poate tipări mesajele din diferite subiecte din ieșirea standard. Instrumentele bazate pe interfață de utilizator pot oferi o lizibilitate mai bună.
- Adăugați și eliminați subiecte de la brokeri.
- Adăugați mesaje noi în partiții.
- Vizualizați toate compensările consumatorilor noștri.
- Creați partiții ale subiectelor noastre.
- Enumerați toate grupurile de consumatori, descrieți Grupurile de consumatori, ștergeți informațiile Grupului de consumatori și resetați compensările Grupului de consumatori.
Dacă dorim să utilizăm un instrument bazat pe interfață de utilizator, putem folosi instrumentul Kafka care poate fi descărcat de pe următoarea pagină web:
http://www.kafkatool.com/download.html
Această aplicație este disponibilă gratuit pentru uz personal, dar trebuie să achiziționăm o licență pentru uz comercial. Lucrul bun despre acesta este disponibilitatea pentru sisteme Mac, Windows și Linux.
Top 3 tipuri de instrumente Kafka
Instrumentele Kafka sunt clasificate în Instrumente de sistem și Instrumente de aplicație.
1. Instrumente de sistem
Instrumentele de sistem pot fi rulate folosind următoarea sintaxă.
Sintaxă:
bin/kafka-run-class.sh package.class - - options
Unele dintre instrumentele de sistem sunt următoarele:
- Instrumentul de migrare Kafka: Acest instrument este utilizat pentru migrarea Kafka Broker de la o versiune la alta.
- Checker Offset Consumer: Acest instrument poate afișa Grupul de consumatori, subiecte, partiții, Off-set, logSize, Owner pentru setul specificat de subiecte și grup de consumatori.
- Oglindă Maker: Acest instrument este folosit pentru oglindirea unui Cluster Kafka la altul.
2. Instrumente de replicare
Acestea sunt practic instrumente de proiectare la nivel înalt oferite pentru durabilitate și disponibilitate.
Unele dintre instrumentele de replicare sunt:
- Creare instrument de subiecte: Acest instrument este utilizat pentru crearea de subiecte cu numărul implicit de partiții și factorul de replicare.
- Instrument pentru subiecte de listă: Acesta este utilizat pentru listarea informațiilor pentru o listă dată de subiecte. Marele lucru al acestui instrument este că, dacă nu există deja un subiect în linia de comandă, va solicita Zookeeper să obțină mai întâi lista Subiecte și apoi să imprime informațiile despre acestea. Listează diferite câmpuri precum Nume subiect, partiții, Leader, replici etc.
- Adăugare instrument de partiție: acest instrument este utilizat pentru a adăuga partiții la un subiect care este necesar pentru a gestiona creșterea volumului de date din subiect. Dar rețineți că, trebuie să specificăm partițiile în timp ce creăm subiectul. Acest instrument ne permite să adăugăm replici manuale pentru partițiile adăugate.
3. Instrumente diverse
Acum să discutăm câteva instrumente diverse:
A. Instrumentul Kafka-Topics
Acest instrument este utilizat pentru a crea, lista, modifica și descrie subiecte.
Exemplu: Subiectul creării: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Instrument Kafka-Consola-Consumator
Acest instrument poate fi utilizat pentru a citi date din subiectele Kafka și pentru a le scrie la ieșire standard
Exemplu: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
c. Instrument Kafka-consola-producător
Acest instrument poate fi utilizat pentru a scrie date într-un subiect Kafka de la ieșirea standard.
Exemplu: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
d. Instrumentul pentru grupuri de consumatori Kafka
Acest instrument poate fi utilizat pentru a enumera toate grupurile de consumatori, pentru a descrie un grup de consumatori, pentru a șterge informațiile grupurilor de consumatori sau pentru a reseta compensările grupurilor de consumatori. Acest instrument este utilizat în principal pentru descrierea grupurilor de consumatori și pentru depanarea eventualelor probleme de compensare a consumatorilor.
Exemplu: Vizualizarea offseturilor într-un cluster nesecurizat: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Arhitectura Kafka
Diferite componente ale instrumentelor Kafka
Componentele majore ale Kafka sunt următoarele:
1. Broker
Fiecare nod dintr-un cluster Kafka este un broker care stochează datele. De obicei, există mai mulți brokeri pentru a echilibra corect sarcina. Un broker stochează mesaje sub formă de subiecte la care pot fi accesate producătorii (pentru scris) și consumatori (pentru lectură). Subiectele sunt create pentru a separa datele unei aplicații de cele ale alteia. Deoarece brokerii sunt apatrizi, ei au nevoie de ajutorul lui Zookeeper pentru a-și menține starea de cluster. Un broker poate gestiona TB-urile de mesaje fără niciun impact asupra performanței. Alegerile liderilor de broker Kafka sunt făcute de Zookeeper.
2. Producător
Este unitatea care împinge mesaje către brokeri. Pot exista mai mulți producători care generează date la o viteză foarte mare și independent unul de celălalt. Producătorii nu primesc o confirmare din partea brokerilor și trimit date la un ritm care poate fi gestionat de către brokeri. Aceștia sunt capabili să caute brokeri și să înceapă să trimită mesaje imediat după începerea brokerilor. Producătorul este responsabil să aleagă ce mesaj să atribuie unei partiții din subiect. Acest lucru se poate face într-o manieră rotundă pentru a echilibra încărcarea sau se poate face în funcție de o anumită funcție de partiție semantică (să zicem pe baza unei chei a mesajului).
3. Zookeeper
Este unitatea care gestionează și coordonează brokerii. Zookeeper notifică un producător sau un consumator în cazul adăugării sau eșecului unui broker. Fiecare broker trimite solicitări de bătăi inimii către zookeeper într-un interval regulat, atât timp cât este viu. Zookeeper păstrează, de asemenea, informații despre subiecte și compensări ale consumatorilor.
4. Consumator
Este unitatea care citește mesajele din subiecte. Un consumator se poate abona și citi din mai multe subiecte. Un consumator poate lucra în paralel cu alți consumatori (în acest caz, fiecare partiție va fi citită de un singur consumator) formând grupul de consumatori. Nu funcționează în sincronizare cu producătorii. Consumatorul trebuie să mențină câte mesaje a citit folosind compensarea partițiilor. Dacă un consumator acceptă un anumit decalaj de partiție, aceasta implică că a consumat deja mesajele anterioare din partiție.
Concluzie
În acest articol, am învățat cum putem folosi diverse instrumente Kafka pentru a gestiona eficient clusterul nostru Kafka. De asemenea, am aflat despre diferitele componente ale ecosistemului Kafka și cum interacționează între ele.
Articole recomandate
Acesta este un ghid pentru instrumentele Kafka. Aici vom discuta despre Tipurile de instrumente Kafka, Diferite componente ale Kafka împreună cu Kafka Architecture. De asemenea, puteți consulta articolul următor pentru a afla mai multe -
- Aplicații de top Kafka
- Explicația arhitecturii Big Data
- Instrumente de știință a datelor de top
- Diferențele dintre Kafka și Spark