Hur installerar jag Kafka?

Kafka är en distribuerad streamingplattform. Det hjälper till att publicera och prenumerera strömmar av poster. Kafka används vanligtvis för att bygga dataledningar i realtid för strömning som pålitligt får data mellan olika system och applikationer. Det kan också hjälpa till att bygga streaming-applikationer i realtid som hjälper till att transformera eller göra ändringar med dataströmmarna. Kafka gör det möjligt att lagra strömmar av poster i olika kategorier som kallas ämnen. Varje post består av en nyckel, ett värde och en tidsstämpel. Den har fyra huvudkomponenter som Producer API, Consumer API, Streams API och Connector API. Den använder TCP-protokollet som är bra kommunikation mellan klienter och servrar med hög prestanda. För att installera Kafka kan följande steg följas.

Installera Kafka på Windows OS

Följ nedanstående steg för installation av Kafka på Windows:

Steg 1. Ladda ner Zookeeper från följande länk: HTTP: //zookeeper.apache.org/releases.html

När detta är gjort, ladda ner Kafka från att följa länken: http://kafka.apache.org/downloads.html

Hämta också JRE enligt ditt operativsystem och CPU-arkitektur från nedanstående länk: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

Steg 2. JDK Setup-

Starta JRE-installationen och klicka sedan på kryssrutan "Ändra destinationsmapp". Klicka nu på Installera.

När detta är gjort ändrar du katalogen till någon bana utan mellanslag i mappnamnet.

Steg 3. När detta är gjort, öppna miljövariablerna från Kontrollpanelen -> System -> Avancerade systeminställningar -> Miljövariabler.

Steg 4. Klicka på Ny användarvariabel på fliken Användarvariabel och skriv sedan JAVA_HOME i variabelnamnet. Ange din JRE-sökväg i avsnittet Variabelt värde. Det borde vara som nedan:

Steg 5. Klicka nu på OK.

Steg 6. Sök efter en sökvägsvariabel i avsnittet "Systemvariabel" i dialogrutan "Miljövariabel" som öppnas.

Steg 7. Redigera sökvägen och skriv ";% JAVA_HOME% \ bin" i slutet av den text som redan skrivits där, precis som bilden nedan:

Steg 8. För att kontrollera om Java är korrekt installerat, gå till Kommandotolken och skriv 'java - version'. Den version av Java som installeras visas på skärmen.

Om du ser ovanstående information på kommandotolken är du bra från Java-sidan.

När Java är installerat kan du nu flytta för att få installationen av Zookeeper gjort.

Följ stegen nedan för att få Zookeeper installerad på ditt system:

Öppna katalogen där Zookeeper config-katalogen finns där. Det kan vara C: \ zookeeper-3.4.7 \ conf.
Byt nu filen “zoo_sample.cfg” till “cfg”
Öppna den nya filen i Notepad.
Hitta och redigera följande: dataDir = / tmp / zookeeper till \ zookeeper-3.4.7 \ data
Precis som vi har lagt till miljövariabel för Java, lägg till en miljövariabel för Zookeeper.
Ställ in systemets variabla sökväg som: dataDir = / tmp / zookeeper till: \ zookeeper-3.4.7 \ data
Redigera systemvariabeln med namnet 'Path' och lägg till; % ZOOKEEPER_HOME% \ bin;
Standardporten för Zookeeper är 2181 som kan ändras till någon annan port genom att gå till filen zoo.cfg.
Kör Zookeeper genom att öppna en ny cmd och skriv 'zkserver'. Nedan ser du detaljerna nedan.

När du ser den här skärmen bör du vara säker på att Zookeeper har installerats.

Ställa in Kafka

När du har Java och Zookeeper igång på ditt system kan du gå vidare med att installera Kafka.

Gå till Kafka config-katalog.
Redigera filen "server.properties".
När detta är gjort kan du hitta och redigera raden där du ser: dirs = / tmp / kafka-logs till “log.dir = C: \ kafka_2.11-0.9.0.0 \ kafka-logs
Om din Zookeeper körs på någon annan maskin kan du ändra denna sökväg till “zookeeper.connect: 2181” till en anpassad IP- och port-ID.
Standardporten för Kafka är port 9092 och för att ansluta till Zookeeper är den 2181.

Kör en Kafka-server

När den första installationen är klar kan du enkelt köra en Kafka-server

Innan du kör Kafka-server måste man se till att Zookeeper-instansen är igång.

1. Gå till Kafka installationskatalog: C: /kafka_2.11-0.9.0.0

2. Öppna kommandotolken och tryck på Skift + högerklicka och välj alternativet 'Öppna kommandofönstret här'.

3. Skriv nu. \ Bin \ windows \ kafka-server-start.bat. \ Config \ server.properties och tryck på Enter.

När du har kört detta och allt är bra bör skärmen se ut som nedan:

4. Nu är din Kafka-server igång. Du kan skapa dina egna ämnen för att lagra olika meddelanden. När detta är gjort kan du producera och konsumera data från Java eller Scala-kod eller direkt köra från kommandotolken.

Installera Kafka på Linux

Följ stegen nedan för att installera Kafka på Linux:

Steg 1. Ladda ner och extrahera Kafka-binärer och lagra dem i kataloger.

Steg 2. Extrahera arkivet som du laddar ned med tar-kommando.

Steg 3. För att konfigurera Kafka, gå till server.properties. Öppna den här filen med nano-kommandot och lägg till följande längst ner i filen.

nano ~/Kafka/config/server.properties

delete.topic.enable = true

Steg 4. När detta är gjort måste användaren skapa systemenhetsfiler för Kafka-tjänster. Detta hjälper dig att utföra vanliga tjänståtgärder som att starta, stoppa och starta om Kafka på ett konsekvent sätt med andra Linux-tjänster. Zookeeper är en tjänst som används av Kafka för att hantera dess kluster och konfigurationer.

Steg 5. Så här skapar du en enhetsfil för Zookeeper:

sudo nano /etc/systemd/system/zookeeper.service

Steg 6. När denna zookeeper-fil har skapats klistra in nedan i den:

(Unit) Requires=network.target remote-fs.target After=network.target remotefs.target (Service) Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal (Install) WantedBy=multi-user.target

Det här avsnittet (Enhet) här anger att Zookeeper kräver att nätverk och filsystem är redo innan det kan starta.

Avsnittet (Service) låter systemet veta att zookeeper-server-start.sh och zookeeper-server-stop.sh-filer finns för att starta och stoppa tjänsterna.

Steg 7. Nu ska användaren skapa en systemfil för Kafka enligt nedan:
sudo nano /etc/system/system/Kafka.service

Steg 8. I den här filen klistra in nedan:

(Unit) Requires=zookeeper.service After=zookeeper.service (Service) Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.shRestart=on-abnormal (Install) WantedBy=multi-user.target

Här anger (Enhet) att enhetsfilen är beroende av zookeeper.service. Detta säkerställer att zookeeper startas innan Kafka startar.

Steg 9. Nu måste du aktivera Kafka och starta om servern. Kör: sudo systemctl aktivera Kafka

Steg 10. Testa installationen:

Du kan testa din Kafka-installation genom att skapa ett ämne och sedan publicera det till konsumenterna.

Skapa ett ämne av : ~ / Kafka / bin / Kafka-topics.sh – skapa –zookeeper localhost: 2181 –repliceringsfaktor 1 –partitioner 1 –topisk TutorialTopic

Skicka den här användaren kan skapa producenter och konsumenter och sedan publicera all information till specifika ämnen.

Rekommenderade artiklar

Detta har varit en guide för att installera Kafka. Här har vi diskuterat olika steg för att installera Kafka på Windows och Linux. Du kan också titta på följande artiklar för att lära dig mer -

Steg för att installera Java 8
Hur man installerar C
Guide för att installera Ruby
Kafka-applikationer
JRE vs JVM | Topp 8 skillnader med (Infographics)

Hur installerar jag Kafka? - Guide för att installera Kafka på Windows och Linux

Innehållsförteckning: