summary |
shortlog | log |
commit |
commitdiff |
tree
first ⋅ prev ⋅ next
Kai Moritz [Mon, 26 May 2025 20:20:56 +0000 (22:20 +0200)]
Phase 5 b: Fix - AclAuthorizer
--
TODO: Wahrscheinlich von Beginn an nicht nötig.
Grund: Auf die Controller wird nur von den Brokern zugegriffen und die agieren als Superuser!
Kai Moritz [Fri, 18 Apr 2025 17:48:44 +0000 (19:48 +0200)]
Aufräumen nach Migration: Logging für Migration deaktiviert
* Zuerst ist das Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--
_Wenn man mit den Broker anfängt, löst Docker Compose das Recreate der Controller sonst schon aus_
* Danach das Rolling Upgrade der Broker:
+
[source]
--
docker compose up kafka-1; docker compose logs --tail=10 -f kafka-1
docker compose up kafka-2; docker compose logs --tail=10 -f kafka-2
docker compose up kafka-3; docker compose logs --tail=10 -f kafka-3
--
Kai Moritz [Thu, 17 Apr 2025 22:18:44 +0000 (00:18 +0200)]
Phase 5 b: Zookeeper entfernt
* Update des Setups nötig:
+
[source]
--
docker compose up setup --remove-orphans
--
Kai Moritz [Fri, 18 Apr 2025 21:33:26 +0000 (23:33 +0200)]
Phase 5 - a: Controller im reinen KRAFT-Modus
* Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--
Kai Moritz [Mon, 26 May 2025 20:14:57 +0000 (22:14 +0200)]
Phase 3: Fix wechselseitige Zugriffsrechte... NICHT NÖTIG?
Kai Moritz [Mon, 26 May 2025 20:14:21 +0000 (22:14 +0200)]
Phase 3: Fix wechselseitige Zugriffsrechte...
Kai Moritz [Mon, 26 May 2025 20:13:22 +0000 (22:13 +0200)]
Phase 4: Fix - StandardAclAuthorizer
Kai Moritz [Mon, 26 May 2025 19:26:06 +0000 (21:26 +0200)]
STEP-FOUR
Kai Moritz [Thu, 17 Apr 2025 22:10:04 +0000 (00:10 +0200)]
Phase 4: Broker von Zookeeper auf die KRAF-Controller migrieren
* Rolling Upgrade der Broker notwendig:
+
[source]
--
docker compose up kafka-1; docker compose logs --tail=10 -f kafka-1
docker compose up kafka-2; docker compose logs --tail=10 -f kafka-2
docker compose up kafka-3; docker compose logs --tail=10 -f kafka-3
--
Kai Moritz [Fri, 18 Apr 2025 21:16:16 +0000 (23:16 +0200)]
Phase 3 - Schritt 2: Fix für Inter-Broker-Kommunikation
* Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--
* Jetzt sieht man Erfolgsmeldungen bei für die Broker
** Auf dem Controller z.B. beim Upgrade von Broker 2 (gekürzt):
+
[source]
--
Registering a new incarnation of broker 2.
--
** Auf dem Broker 2 (gekürzt):
+
[soruce]
--
[RaftManager id=2] Registered the listener
--
Kai Moritz [Mon, 26 May 2025 19:42:21 +0000 (21:42 +0200)]
Phase 3: Fix wechselseitige Zugriffsrechte...
Kai Moritz [Sun, 25 May 2025 21:47:26 +0000 (23:47 +0200)]
STEP-THREE
Kai Moritz [Sun, 25 May 2025 19:24:18 +0000 (21:24 +0200)]
Phase 3: Fix Zugriffsbeschränkungen
Kai Moritz [Sun, 25 May 2025 21:44:43 +0000 (23:44 +0200)]
STEP-THREE
Kai Moritz [Sun, 25 May 2025 21:42:09 +0000 (23:42 +0200)]
STEP-THREE
Kai Moritz [Sun, 25 May 2025 21:41:36 +0000 (23:41 +0200)]
STEP-THREE
Kai Moritz [Fri, 18 Apr 2025 21:11:17 +0000 (23:11 +0200)]
Phase 3: KRAFT-Konfig bei Brokern ergänzt
* Rolling Upgrade der Broker notwendig:
+
[source]
--
docker compose up -d kafka-1 ; docker compose logs --tail=10 -f kafka-1
docker compose up -d kafka-2 ; docker compose logs --tail=10 -f kafka-2
docker compose up -d kafka-3 ; docker compose logs --tail=10 -f kafka-3
--
* Das Setup ist so noch nicht Lauf- bzw. Migrationsfähig!
* Grund: Die Inter-Broker-Kommunikation zwischen Brokern und Controllern fehlt
** Fehler auf Broker-Seite:
+
[source]
--
Unable to register broker 1 because the controller returned error INVALID_REGISTRATION
--
** Fehler auf Controller-Seite:
+
[source]
--
Exception message: Broker does not have the current inter.broker.listener PLAINTEXT
--
Kai Moritz [Sun, 25 May 2025 18:43:31 +0000 (20:43 +0200)]
STEP-TWO
Kai Moritz [Thu, 17 Apr 2025 20:37:27 +0000 (22:37 +0200)]
Phase 2: Mit 3 Controllern
* Aktualisierung des Setups notwendig:
+
[source]
--
docker compose up setup
--
* Dies genügt hier, weil die `depends_on` entsprechend angepasst wurden
Kai Moritz [Sun, 25 May 2025 19:08:44 +0000 (21:08 +0200)]
WIP:sasl-client--broker-angepasst--separate-accounts
Kai Moritz [Sun, 25 May 2025 19:04:03 +0000 (21:04 +0200)]
WIP:sasl-client--broker-angepasst--separate-accounts
Kai Moritz [Sun, 25 May 2025 17:38:43 +0000 (19:38 +0200)]
TODO
Kai Moritz [Sun, 25 May 2025 17:35:34 +0000 (19:35 +0200)]
TODO
Kai Moritz [Sun, 25 May 2025 15:54:37 +0000 (17:54 +0200)]
WIP:sasl-client--broker-angepasst--separate-accounts
Kai Moritz [Sun, 25 May 2025 14:43:46 +0000 (16:43 +0200)]
STEP-ONE
Kai Moritz [Sun, 25 May 2025 11:27:15 +0000 (13:27 +0200)]
README
Kai Moritz [Sun, 25 May 2025 18:35:34 +0000 (20:35 +0200)]
AKHQ mit vollständiger Bootstrap-Server Liste
Kai Moritz [Sun, 25 May 2025 18:35:18 +0000 (20:35 +0200)]
Healthcheck für Kafka implementiert
Kai Moritz [Sun, 25 May 2025 11:07:54 +0000 (13:07 +0200)]
Health-Check für Zookeeper implementiert
Kai Moritz [Thu, 24 Apr 2025 13:57:29 +0000 (15:57 +0200)]
WIP:sasl-client--broker-angepasst--so-funzts
* Für das Setup werden noch weitere Schalter benötigt!
** Das Warten auf den Cluster schlägt fehl, da die
Zugriffsrechte fehlen!
** Außerdem: Die `client.properties` enthalten hier erst
mal die Broker-Rechte! Umbenennen! Und/Oder einen
expliziten Nutzer admin einühren...
** Außerdem: Die Listener-Interfaces `BROKER` und `DOCKER`
sind so eigentlich doppelt
** ENTWEDER: BROKER ohne Authentifizierung mit `User:ANONYMOUS`,
wie bei den alten Vorführ-Setups, ODER: Nur ein Interface.
* Außerdem: Das Skript enthält noch Fehler
Kai Moritz [Sat, 26 Apr 2025 08:48:03 +0000 (10:48 +0200)]
Auf Producer/Consumer umgestellt, die über Spring konfigurierbar sind
Kai Moritz [Thu, 24 Apr 2025 13:15:22 +0000 (15:15 +0200)]
Separater Listener für die Broker-Kommunikation
Kai Moritz [Thu, 17 Apr 2025 20:10:59 +0000 (22:10 +0200)]
Phase 1: Migration vorbereitet
* Die folgenden Setups gehen davon aus, dass die Cluster-ID
*8e-KqCzwQPqK7EibrzJE5g* ist.
* Daher müssen vor dem Start über `docker compose up setup` die folgenden
Befehle ausgeführt werden:
+
[source]
--
docker compose up -d zookeeper
sleep 10
docker compose exec zookeeper zookeeper-shell zookeeper:2181 create /cluster
docker compose exec zookeeper zookeeper-shell zookeeper:2181 create /cluster/id
docker compose exec zookeeper zookeeper-shell zookeeper:2181 set /cluster/id '{"version":"1","id":"8e-KqCzwQPqK7EibrzJE5g"}'
docker compose exec zookeeper zookeeper-shell zookeeper:2181 get /cluster/id
--