demos/kafka/training
6 hours agoPhase 4: Broker von Zookeeper auf die KRAF-Controller migrieren lvm/zookeeper-kraft-migration--mit-sasl
Kai Moritz [Thu, 17 Apr 2025 22:10:04 +0000 (00:10 +0200)]
Phase 4: Broker von Zookeeper auf die KRAF-Controller migrieren

* Rolling Upgrade der Broker notwendig:
+
[source]
--
docker compose up kafka-1; docker compose logs --tail=10 -f kafka-1
docker compose up kafka-2; docker compose logs --tail=10 -f kafka-2
docker compose up kafka-3; docker compose logs --tail=10 -f kafka-3
--

6 hours agoPhase 3 - Schritt 2: Fix für Inter-Broker-Kommunikation
Kai Moritz [Fri, 18 Apr 2025 21:16:16 +0000 (23:16 +0200)]
Phase 3 - Schritt 2: Fix für Inter-Broker-Kommunikation

* Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--
* Jetzt sieht man Erfolgsmeldungen bei für die Broker
** Auf dem Controller z.B. beim Upgrade von Broker 2 (gekürzt):
+
[source]
--
Registering a new incarnation of broker 2.
--
** Auf dem Broker 2 (gekürzt):
+
[soruce]
--
[RaftManager id=2] Registered the listener
--

6 hours agoWIP: Phase 3: KRAFT-Konfig bei Brokern ergänzt
Kai Moritz [Sat, 24 May 2025 18:11:05 +0000 (20:11 +0200)]
WIP: Phase 3: KRAFT-Konfig bei Brokern ergänzt

6 hours agoPhase 3: KRAFT-Konfig bei Brokern ergänzt
Kai Moritz [Fri, 18 Apr 2025 21:11:17 +0000 (23:11 +0200)]
Phase 3: KRAFT-Konfig bei Brokern ergänzt

* Rolling Upgrade der Broker notwendig:
+
[source]
--
docker compose up -d kafka-1 ; docker compose logs --tail=10 -f kafka-1
docker compose up -d kafka-2 ; docker compose logs --tail=10 -f kafka-2
docker compose up -d kafka-3 ; docker compose logs --tail=10 -f kafka-3
--
* Das Setup ist so noch nicht Lauf- bzw. Migrationsfähig!
* Grund: Die Inter-Broker-Kommunikation zwischen Brokern und Controllern fehlt
** Fehler auf Broker-Seite:
+
[source]
--
Unable to register broker 1 because the controller returned error INVALID_REGISTRATION
--
** Fehler auf Controller-Seite:
+
[source]
--
Exception message: Broker does not have the current inter.broker.listener PLAINTEXT
--

6 hours agoPhase 2: Mit 3 Controllern
Kai Moritz [Thu, 17 Apr 2025 20:37:27 +0000 (22:37 +0200)]
Phase 2: Mit 3 Controllern

* Aktualisierung des Setups notwendig:
+
[source]
--
docker compose up setup
--
* Dies genügt hier, weil die `depends_on` entsprechend angepasst wurden

6 hours agoREADME
Kai Moritz [Sun, 25 May 2025 11:27:15 +0000 (13:27 +0200)]
README

6 hours agoHealth-Check für Zookeeper implementiert
Kai Moritz [Sun, 25 May 2025 11:07:54 +0000 (13:07 +0200)]
Health-Check für Zookeeper implementiert

7 hours agoWIP:sasl-client--broker-angepasst--admin-properties
Kai Moritz [Sat, 24 May 2025 18:01:25 +0000 (20:01 +0200)]
WIP:sasl-client--broker-angepasst--admin-properties

7 hours agoWIP:sasl-client--broker-angepasst--admin-properties
Kai Moritz [Sat, 24 May 2025 17:57:25 +0000 (19:57 +0200)]
WIP:sasl-client--broker-angepasst--admin-properties

4 weeks agoWIP:sasl-client--broker-angepasst--admin-properties
Kai Moritz [Sun, 27 Apr 2025 12:23:17 +0000 (14:23 +0200)]
WIP:sasl-client--broker-angepasst--admin-properties

4 weeks agoWIP:sasl-client--broker-angepasst--so-funzts
Kai Moritz [Sun, 27 Apr 2025 12:10:19 +0000 (14:10 +0200)]
WIP:sasl-client--broker-angepasst--so-funzts

* Für das Setup werden noch weitere Schalter benötigt!
** Das Warten auf den Cluster schlägt fehl, da die
   Zugriffsrechte fehlen!
** Außerdem: Die `client.properties` enthalten hier erst
   mal die Broker-Rechte! Umbenennen! Und/Oder einen
   expliziten Nutzer admin einühren...
** Außerdem: Die Listener-Interfaces `BROKER` und `DOCKER`
   sind so eigentlich doppelt
** ENTWEDER: BROKER ohne Authentifizierung mit `User:ANONYMOUS`,
   wie bei den alten Vorführ-Setups, ODER: Nur ein Interface.
* Außerdem: Das Skript enthält noch Fehler

4 weeks agoWIP:sasl-client--broker-angepasst--kaputt
Kai Moritz [Sun, 27 Apr 2025 10:44:32 +0000 (12:44 +0200)]
WIP:sasl-client--broker-angepasst--kaputt

4 weeks agoWIP:sasl-client--broker-angepasst--kaputt
Kai Moritz [Sun, 27 Apr 2025 10:38:48 +0000 (12:38 +0200)]
WIP:sasl-client--broker-angepasst--kaputt

4 weeks agoWIP:sasl-client
Kai Moritz [Sun, 27 Apr 2025 10:34:07 +0000 (12:34 +0200)]
WIP:sasl-client

4 weeks agoBroker kann, Clients nicht...
Kai Moritz [Fri, 25 Apr 2025 09:32:35 +0000 (11:32 +0200)]
Broker kann, Clients nicht...

4 weeks agoWIP
Kai Moritz [Fri, 25 Apr 2025 09:13:48 +0000 (11:13 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Fri, 25 Apr 2025 09:10:15 +0000 (11:10 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Fri, 25 Apr 2025 09:00:36 +0000 (11:00 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Thu, 24 Apr 2025 14:23:39 +0000 (16:23 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Thu, 24 Apr 2025 14:16:25 +0000 (16:16 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Thu, 24 Apr 2025 14:15:55 +0000 (16:15 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Thu, 24 Apr 2025 14:07:49 +0000 (16:07 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Thu, 24 Apr 2025 14:02:56 +0000 (16:02 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Thu, 24 Apr 2025 14:02:46 +0000 (16:02 +0200)]
WIP

4 weeks agoWIP
Kai Moritz [Thu, 24 Apr 2025 13:57:29 +0000 (15:57 +0200)]
WIP

4 weeks agoAuf Producer/Consumer umgestellt, die über Spring konfigurierbar sind
Kai Moritz [Sat, 26 Apr 2025 08:48:03 +0000 (10:48 +0200)]
Auf Producer/Consumer umgestellt, die über Spring konfigurierbar sind

4 weeks agoSeparater Listener für die Broker-Kommunikation
Kai Moritz [Thu, 24 Apr 2025 13:15:22 +0000 (15:15 +0200)]
Separater Listener für die Broker-Kommunikation

5 weeks agoPhase 1: Migration vorbereitet
Kai Moritz [Thu, 17 Apr 2025 20:10:59 +0000 (22:10 +0200)]
Phase 1: Migration vorbereitet

* Die folgenden Setups gehen davon aus, dass die Cluster-ID
  *8e-KqCzwQPqK7EibrzJE5g* ist.
* Daher müssen vor dem Start über `docker compose up setup` die folgenden
  Befehle ausgeführt werden:
+
[source]
--
docker compose up -d zookeeper
sleep 10
docker compose exec zookeeper zookeeper-shell zookeeper:2181 create /cluster
docker compose exec zookeeper zookeeper-shell zookeeper:2181 create /cluster/id
docker compose exec zookeeper zookeeper-shell zookeeper:2181 set /cluster/id '{"version":"1","id":"8e-KqCzwQPqK7EibrzJE5g"}'
docker compose exec zookeeper zookeeper-shell zookeeper:2181 get /cluster/id
--