demos/kafka/training
6 weeks agoPhase 5 b: Zookeeper entfernt
Kai Moritz [Thu, 17 Apr 2025 22:18:44 +0000 (00:18 +0200)]
Phase 5 b: Zookeeper entfernt

* Update des Setups nötig:
+
[source]
--
docker compose up setup --remove-orphans
--

6 weeks agoPhase 5 - a: Controller im reinen KRAFT-Modus
Kai Moritz [Fri, 18 Apr 2025 21:33:26 +0000 (23:33 +0200)]
Phase 5 - a: Controller im reinen KRAFT-Modus

* Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--

6 weeks agoPhase 3: Fix wechselseitige Zugriffsrechte... NICHT NÖTIG?
Kai Moritz [Mon, 26 May 2025 20:14:57 +0000 (22:14 +0200)]
Phase 3: Fix wechselseitige Zugriffsrechte... NICHT NÖTIG?

6 weeks agoPhase 3: Fix wechselseitige Zugriffsrechte...
Kai Moritz [Mon, 26 May 2025 20:14:21 +0000 (22:14 +0200)]
Phase 3: Fix wechselseitige Zugriffsrechte...

6 weeks agoPhase 4: Fix - StandardAclAuthorizer
Kai Moritz [Mon, 26 May 2025 20:13:22 +0000 (22:13 +0200)]
Phase 4: Fix - StandardAclAuthorizer

6 weeks agoSTEP-FOUR
Kai Moritz [Mon, 26 May 2025 19:26:06 +0000 (21:26 +0200)]
STEP-FOUR

6 weeks agoPhase 4: Broker von Zookeeper auf die KRAF-Controller migrieren
Kai Moritz [Thu, 17 Apr 2025 22:10:04 +0000 (00:10 +0200)]
Phase 4: Broker von Zookeeper auf die KRAF-Controller migrieren

* Rolling Upgrade der Broker notwendig:
+
[source]
--
docker compose up kafka-1; docker compose logs --tail=10 -f kafka-1
docker compose up kafka-2; docker compose logs --tail=10 -f kafka-2
docker compose up kafka-3; docker compose logs --tail=10 -f kafka-3
--

6 weeks agoPhase 3 - Schritt 2: Fix für Inter-Broker-Kommunikation
Kai Moritz [Fri, 18 Apr 2025 21:16:16 +0000 (23:16 +0200)]
Phase 3 - Schritt 2: Fix für Inter-Broker-Kommunikation

* Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--
* Jetzt sieht man Erfolgsmeldungen bei für die Broker
** Auf dem Controller z.B. beim Upgrade von Broker 2 (gekürzt):
+
[source]
--
Registering a new incarnation of broker 2.
--
** Auf dem Broker 2 (gekürzt):
+
[soruce]
--
[RaftManager id=2] Registered the listener
--

6 weeks agoPhase 3: Fix wechselseitige Zugriffsrechte...
Kai Moritz [Mon, 26 May 2025 19:42:21 +0000 (21:42 +0200)]
Phase 3: Fix wechselseitige Zugriffsrechte...

6 weeks agoSTEP-THREE
Kai Moritz [Sun, 25 May 2025 21:47:26 +0000 (23:47 +0200)]
STEP-THREE

6 weeks agoPhase 3: Fix Zugriffsbeschränkungen
Kai Moritz [Sun, 25 May 2025 19:24:18 +0000 (21:24 +0200)]
Phase 3: Fix Zugriffsbeschränkungen

6 weeks agoSTEP-THREE
Kai Moritz [Sun, 25 May 2025 21:44:43 +0000 (23:44 +0200)]
STEP-THREE

6 weeks agoSTEP-THREE
Kai Moritz [Sun, 25 May 2025 21:42:09 +0000 (23:42 +0200)]
STEP-THREE

6 weeks agoSTEP-THREE
Kai Moritz [Sun, 25 May 2025 21:41:36 +0000 (23:41 +0200)]
STEP-THREE

6 weeks agoPhase 3: KRAFT-Konfig bei Brokern ergänzt
Kai Moritz [Fri, 18 Apr 2025 21:11:17 +0000 (23:11 +0200)]
Phase 3: KRAFT-Konfig bei Brokern ergänzt

* Rolling Upgrade der Broker notwendig:
+
[source]
--
docker compose up -d kafka-1 ; docker compose logs --tail=10 -f kafka-1
docker compose up -d kafka-2 ; docker compose logs --tail=10 -f kafka-2
docker compose up -d kafka-3 ; docker compose logs --tail=10 -f kafka-3
--
* Das Setup ist so noch nicht Lauf- bzw. Migrationsfähig!
* Grund: Die Inter-Broker-Kommunikation zwischen Brokern und Controllern fehlt
** Fehler auf Broker-Seite:
+
[source]
--
Unable to register broker 1 because the controller returned error INVALID_REGISTRATION
--
** Fehler auf Controller-Seite:
+
[source]
--
Exception message: Broker does not have the current inter.broker.listener PLAINTEXT
--

6 weeks agoSTEP-TWO
Kai Moritz [Sun, 25 May 2025 18:43:31 +0000 (20:43 +0200)]
STEP-TWO

6 weeks agoPhase 2: Mit 3 Controllern
Kai Moritz [Thu, 17 Apr 2025 20:37:27 +0000 (22:37 +0200)]
Phase 2: Mit 3 Controllern

* Aktualisierung des Setups notwendig:
+
[source]
--
docker compose up setup
--
* Dies genügt hier, weil die `depends_on` entsprechend angepasst wurden

6 weeks agoWIP:sasl-client--broker-angepasst--separate-accounts
Kai Moritz [Sun, 25 May 2025 19:08:44 +0000 (21:08 +0200)]
WIP:sasl-client--broker-angepasst--separate-accounts

6 weeks agoWIP:sasl-client--broker-angepasst--separate-accounts
Kai Moritz [Sun, 25 May 2025 19:04:03 +0000 (21:04 +0200)]
WIP:sasl-client--broker-angepasst--separate-accounts

6 weeks agoTODO
Kai Moritz [Sun, 25 May 2025 17:38:43 +0000 (19:38 +0200)]
TODO

6 weeks agoTODO
Kai Moritz [Sun, 25 May 2025 17:35:34 +0000 (19:35 +0200)]
TODO

6 weeks agoWIP:sasl-client--broker-angepasst--separate-accounts
Kai Moritz [Sun, 25 May 2025 15:54:37 +0000 (17:54 +0200)]
WIP:sasl-client--broker-angepasst--separate-accounts

6 weeks agoSTEP-ONE
Kai Moritz [Sun, 25 May 2025 14:43:46 +0000 (16:43 +0200)]
STEP-ONE

6 weeks agoREADME
Kai Moritz [Sun, 25 May 2025 11:27:15 +0000 (13:27 +0200)]
README

6 weeks agoAKHQ mit vollständiger Bootstrap-Server Liste
Kai Moritz [Sun, 25 May 2025 18:35:34 +0000 (20:35 +0200)]
AKHQ mit vollständiger Bootstrap-Server Liste

6 weeks agoHealthcheck für Kafka implementiert
Kai Moritz [Sun, 25 May 2025 18:35:18 +0000 (20:35 +0200)]
Healthcheck für Kafka implementiert

6 weeks agoHealth-Check für Zookeeper implementiert
Kai Moritz [Sun, 25 May 2025 11:07:54 +0000 (13:07 +0200)]
Health-Check für Zookeeper implementiert

6 weeks agoWIP:sasl-client--broker-angepasst--so-funzts
Kai Moritz [Thu, 24 Apr 2025 13:57:29 +0000 (15:57 +0200)]
WIP:sasl-client--broker-angepasst--so-funzts

* Für das Setup werden noch weitere Schalter benötigt!
** Das Warten auf den Cluster schlägt fehl, da die
   Zugriffsrechte fehlen!
** Außerdem: Die `client.properties` enthalten hier erst
   mal die Broker-Rechte! Umbenennen! Und/Oder einen
   expliziten Nutzer admin einühren...
** Außerdem: Die Listener-Interfaces `BROKER` und `DOCKER`
   sind so eigentlich doppelt
** ENTWEDER: BROKER ohne Authentifizierung mit `User:ANONYMOUS`,
   wie bei den alten Vorführ-Setups, ODER: Nur ein Interface.
* Außerdem: Das Skript enthält noch Fehler

2 months agoAuf Producer/Consumer umgestellt, die über Spring konfigurierbar sind
Kai Moritz [Sat, 26 Apr 2025 08:48:03 +0000 (10:48 +0200)]
Auf Producer/Consumer umgestellt, die über Spring konfigurierbar sind

2 months agoSeparater Listener für die Broker-Kommunikation
Kai Moritz [Thu, 24 Apr 2025 13:15:22 +0000 (15:15 +0200)]
Separater Listener für die Broker-Kommunikation

2 months agoPhase 1: Migration vorbereitet
Kai Moritz [Thu, 17 Apr 2025 20:10:59 +0000 (22:10 +0200)]
Phase 1: Migration vorbereitet

* Die folgenden Setups gehen davon aus, dass die Cluster-ID
  *8e-KqCzwQPqK7EibrzJE5g* ist.
* Daher müssen vor dem Start über `docker compose up setup` die folgenden
  Befehle ausgeführt werden:
+
[source]
--
docker compose up -d zookeeper
sleep 10
docker compose exec zookeeper zookeeper-shell zookeeper:2181 create /cluster
docker compose exec zookeeper zookeeper-shell zookeeper:2181 create /cluster/id
docker compose exec zookeeper zookeeper-shell zookeeper:2181 set /cluster/id '{"version":"1","id":"8e-KqCzwQPqK7EibrzJE5g"}'
docker compose exec zookeeper zookeeper-shell zookeeper:2181 get /cluster/id
--