Erstelle ein Apache Kafka Cluster

1. Erstelle 2 Virtuelle Maschinen

2. SHH in die erste Maschine

3. Führe folgende Befehle aus:

   • sudo apt update

   • sudo apt upgrade

   • sudo apt-get install default-jre

   • wget https://dlcdn.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz

   • tar -xzf kafka_2.13-3.4.0.tgz

   • cd kafka_2.13-3.4.0

4. Führe "bin/zookeeper-server-start.sh config/zookeeper.properties" aus

Jetzt läuft Zookeeper

5. Gehe zur VM

   

   Zookeeper VM (Eigene Darstellung)

6. Schalte Port 2181 frei

VM Port (Eigene Darstellung)

7. SSH in die zweite Virtuelle Maschine

8. Führe wieder diese Befehle aus:

   • sudo apt update

   • sudo apt upgrade

   • sudo apt-get install default-jre

   • wget https://dlcdn.apache.org/kafka/3.4.0/kafka_2.13-3.4.0.tgz

   • tar -xzf kafka_2.13-3.4.0.tgz

   • cd kafka_2.13-3.4.0

9. Führe "cd config" aus

10. Führe "nano server.properties" aus

11. Kommentiere diese Zeile aus und ersetze "localhost" mit der Broker IP

server.properties (Eigene Darstellung)

12. Ersetze die localhost mit der Zookeeper IP

zookeeper.connect (Eigene Darstellung)

13. Speichern und verlassen Sie die Bearbeitung

14. Gehe in den Ordner "kafka_2.13-3.4.0" und führe "bin/kafka-server-start.sh config/server.properties" aus

15. Erstelle ein topic für die IoT Drohnen Verarbeitung mit "bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server 74.234.193.28:9092"

16. Ersetze 74.234.193.28 mit Ihrer Broker IP

17. Optional können Sie "quickstart-events" mit einem passenden Namen ersetzen

Nun können Sie den Broker in Databricks oder Python verwenden