summary |
shortlog | log |
commit |
commitdiff |
tree
first ⋅ prev ⋅ next
Kai Moritz [Fri, 18 Apr 2025 17:48:44 +0000 (19:48 +0200)]
Phase 5 - c: Logging für Migration deaktiviert
* Zuerst ist das Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--
_Wenn man mit den Broker anfängt, löst Docker Compose das Recreate der Controller sonst schon aus_
* Danach das Rolling Upgrade der Broker:
+
[source]
--
docker compose up kafka-1; docker compose logs --tail=10 -f kafka-1
docker compose up kafka-2; docker compose logs --tail=10 -f kafka-2
docker compose up kafka-3; docker compose logs --tail=10 -f kafka-3
--
Kai Moritz [Thu, 17 Apr 2025 22:18:44 +0000 (00:18 +0200)]
Phase 5 b: Zookeeper entfernt
* Update des Setups nötig:
+
[source]
--
docker compose up setup --remove-orphans
--
Kai Moritz [Fri, 18 Apr 2025 21:33:26 +0000 (23:33 +0200)]
Phase 5 - a: Controller im reinen KRAFT-Modus
* Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--
Kai Moritz [Thu, 17 Apr 2025 22:10:04 +0000 (00:10 +0200)]
Phase 4: Broker von Zookeeper auf die KRAF-Controller migrieren
* Rolling Upgrade der Broker notwendig:
+
[source]
--
docker compose up kafka-1; docker compose logs --tail=10 -f kafka-1
docker compose up kafka-2; docker compose logs --tail=10 -f kafka-2
docker compose up kafka-3; docker compose logs --tail=10 -f kafka-3
--
Kai Moritz [Fri, 18 Apr 2025 21:16:16 +0000 (23:16 +0200)]
Phase 3 - Schritt 2: Fix für Inter-Broker-Kommunikation
* Rolling upgrade der Controller notwendig:
+
[source]
--
docker compose up -d controller-1; docker compose logs --tail=10 -f controller-1
docker compose up -d controller-2; docker compose logs --tail=10 -f controller-2
docker compose up -d controller-3; docker compose logs --tail=10 -f controller-3
--
* Jetzt sieht man Erfolgsmeldungen bei für die Broker
** Auf dem Controller z.B. beim Upgrade von Broker 2 (gekürzt):
+
[source]
--
Registering a new incarnation of broker 2.
--
** Auf dem Broker 2 (gekürzt):
+
[soruce]
--
[RaftManager id=2] Registered the listener
--
Kai Moritz [Fri, 18 Apr 2025 21:11:17 +0000 (23:11 +0200)]
Phase 3: KRAFT-Konfig bei Brokern ergänzt
* Rolling Upgrade der Broker notwendig:
+
[source]
--
docker compose up -d kafka-1 ; docker compose logs --tail=10 -f kafka-1
docker compose up -d kafka-2 ; docker compose logs --tail=10 -f kafka-2
docker compose up -d kafka-3 ; docker compose logs --tail=10 -f kafka-3
--
* Das Setup ist so noch nicht Lauf- bzw. Migrationsfähig!
* Grund: Die Inter-Broker-Kommunikation zwischen Brokern und Controllern fehlt
** Fehler auf Broker-Seite:
+
[source]
--
Unable to register broker 1 because the controller returned error INVALID_REGISTRATION
--
** Fehler auf Controller-Seite:
+
[source]
--
Exception message: Broker does not have the current inter.broker.listener PLAINTEXT
--
Kai Moritz [Thu, 17 Apr 2025 20:37:27 +0000 (22:37 +0200)]
Phase 2: Mit 3 Controllern
* Aktualisierung des Setups notwendig:
+
[source]
--
docker compose up setup
--
* Dies genügt hier, weil die `depends_on` entsprechend angepasst wurden
Kai Moritz [Thu, 17 Apr 2025 20:10:59 +0000 (22:10 +0200)]
Phase 1: Migration vorbereitet
* Die folgenden Setups gehen davon aus, dass die Cluster-ID
*8e-KqCzwQPqK7EibrzJE5g* ist.
* Daher müssen vor dem Start über `docker compose up setup` die folgenden
Befehle ausgeführt werden:
+
[source]
--
docker compose up -d zookeeper
sleep 10
docker compose exec zookeeper zookeeper-shell zookeeper:2181 create /cluster
docker compose exec zookeeper zookeeper-shell zookeeper:2181 create /cluster/id
docker compose exec zookeeper zookeeper-shell zookeeper:2181 set /cluster/id '{"version":"1","id":"8e-KqCzwQPqK7EibrzJE5g"}'
docker compose exec zookeeper zookeeper-shell zookeeper:2181 get /cluster/id
--