]> juplo.de Git - demos/kafka/training/log
demos/kafka/training
10 months agoDas Docker-Setup verwendet den `spring-producer`
Kai Moritz [Sun, 10 Nov 2024 12:50:32 +0000 (13:50 +0100)]
Das Docker-Setup verwendet den `spring-producer`

* Die Konfiguration wurde außerdem so überarbeitet, dass der Producer
  mehr Nachrichten verschickt (ca. 10 Nachrichten pro Sekunde) und diese
  in Batches à ca. 6 Nachrichten verpackt.

10 months agoUngefangene Exceptions im `ExampleConsumer` lösen das Beenden der App aus
Kai Moritz [Sat, 2 Nov 2024 22:19:40 +0000 (23:19 +0100)]
Ungefangene Exceptions im `ExampleConsumer` lösen das Beenden der App aus

10 months agoFix: `close()` muss noch vom `ExampleConsumer` aufgerufen werden
Kai Moritz [Sat, 2 Nov 2024 21:23:16 +0000 (22:23 +0100)]
Fix: `close()` muss noch vom `ExampleConsumer` aufgerufen werden

* Der Aufruf von `close()` löst die Abmeldung der Instanz bei dem
  GroupCoordinator aus.
* Dieser Vorgang sollte noch unter der Kontrolle des Anwendungscodes
  erfolgen!
* Wenn die Methode erst von Spring aufgerufen wird, werden dann ggf. noch
  Seiteneffekte ausgelöst, die dann noch im Kontext der Instanz laufen,
  obwohl diese eigentlich schon beendet wurde!

10 months agoConsumerspezifische Properties werden in eigener nested Class verwaltet
Kai Moritz [Mon, 28 Oct 2024 07:46:58 +0000 (08:46 +0100)]
Consumerspezifische Properties werden in eigener nested Class verwaltet

* Dadurch wird der Code übersichtlicher, wenn spätere Implementierungen
  _sowohl_ als Consumer, _als auch_ als Producer agieren!

10 months ago`ExampleConsumer` in eine Spring-Boot App umgebaut (ohne Spring Kafka)
Kai Moritz [Sun, 27 Oct 2024 21:08:53 +0000 (22:08 +0100)]
`ExampleConsumer` in eine Spring-Boot App umgebaut (ohne Spring Kafka)

10 months agoSpezial-Einstellungen entfernt, die die TN nicht haben
Kai Moritz [Thu, 6 Feb 2025 16:45:45 +0000 (17:45 +0100)]
Spezial-Einstellungen entfernt, die die TN nicht haben

10 months agoPartition & Offset stehen eindeutig in der Log-Meldung grundlagen/simple-consumer--2025-01-signal-gradle grundlagen/simple-consumer--2025-02-signal
Kai Moritz [Mon, 20 Jan 2025 16:03:17 +0000 (17:03 +0100)]
Partition & Offset stehen eindeutig in der Log-Meldung

10 months agoHandling der Records wie in abgeleiteten Versionen in eigener Methode
Kai Moritz [Sun, 29 Sep 2024 12:30:42 +0000 (14:30 +0200)]
Handling der Records wie in abgeleiteten Versionen in eigener Methode

10 months ago`metadata.maxage.ms` auf 5 Sekunden heruntergesetzt
Kai Moritz [Sat, 28 Sep 2024 10:00:20 +0000 (12:00 +0200)]
`metadata.maxage.ms` auf 5 Sekunden heruntergesetzt

10 months ago`simple-producer` in `simple-consumer` verwandelt -- ALIGN
Kai Moritz [Thu, 26 Sep 2024 13:21:01 +0000 (15:21 +0200)]
`simple-producer` in `simple-consumer` verwandelt -- ALIGN

10 months ago`simple-producer` in `simple-consumer` verwandelt -- COPY
Kai Moritz [Mon, 28 Oct 2024 13:14:51 +0000 (14:14 +0100)]
`simple-producer` in `simple-consumer` verwandelt -- COPY

10 months ago`metadata.maxage.ms` auf 5 Sekunden heruntergesetzt
Kai Moritz [Sat, 28 Sep 2024 09:58:11 +0000 (11:58 +0200)]
`metadata.maxage.ms` auf 5 Sekunden heruntergesetzt

10 months ago`build.gradle` so erweitert, dass das Image gebaut werden kann grundlagen/simple-producer--2025-01-signal-gradle grundlagen/simple-producer--2025-02-signal
Kai Moritz [Wed, 22 Jan 2025 18:33:54 +0000 (19:33 +0100)]
`build.gradle` so erweitert, dass das Image gebaut werden kann

10 months agoGradle-Wrapper entfernt
Kai Moritz [Wed, 22 Jan 2025 18:02:36 +0000 (19:02 +0100)]
Gradle-Wrapper entfernt

10 months agoGradle-Konfiguration für Version 8.11.1 hinzugefügt (mit Wrapper!)
Kai Moritz [Wed, 22 Jan 2025 18:01:14 +0000 (19:01 +0100)]
Gradle-Konfiguration für Version 8.11.1 hinzugefügt (mit Wrapper!)

10 months agoLombok benötigt nur den Scope `compile`
Kai Moritz [Wed, 22 Jan 2025 17:49:47 +0000 (18:49 +0100)]
Lombok benötigt nur den Scope `compile`

10 months agoMaven-Wrapper wieder entfernt - Stört Firewalls beim verschicken
Kai Moritz [Wed, 22 Jan 2025 17:27:59 +0000 (18:27 +0100)]
Maven-Wrapper wieder entfernt - Stört Firewalls beim verschicken

10 months agoPartition & Offset stehen eindeutig in der Log-Meldung grundlagen/simple-producer--2025-01-signal
Kai Moritz [Mon, 20 Jan 2025 16:00:46 +0000 (17:00 +0100)]
Partition & Offset stehen eindeutig in der Log-Meldung

10 months agoLogmeldungen verwenden Methodenparameter, wo möglich
Kai Moritz [Sun, 19 Jan 2025 09:56:05 +0000 (10:56 +0100)]
Logmeldungen verwenden Methodenparameter, wo möglich

10 months agoMaven-Wrapper von Spring-Boot ergänzt und `README.sh` angepasst
Kai Moritz [Fri, 17 Jan 2025 17:36:41 +0000 (18:36 +0100)]
Maven-Wrapper von Spring-Boot ergänzt und `README.sh` angepasst

10 months agoSpring-Boot auf 3.4.1 aktualisiert
Kai Moritz [Fri, 17 Jan 2025 17:36:23 +0000 (18:36 +0100)]
Spring-Boot auf 3.4.1 aktualisiert

10 months agoBei einem unerwarteten Fehler wird auch der Stacktrace mit ausgegeben
Kai Moritz [Fri, 1 Nov 2024 14:53:17 +0000 (15:53 +0100)]
Bei einem unerwarteten Fehler wird auch der Stacktrace mit ausgegeben

10 months agoDer Nachrichten-Wert wird in allen Log-Meldungen mit ausgegeben
Kai Moritz [Thu, 31 Oct 2024 23:52:44 +0000 (00:52 +0100)]
Der Nachrichten-Wert wird in allen Log-Meldungen mit ausgegeben

10 months agoLogging-Pattern überarbeitet
Kai Moritz [Mon, 28 Oct 2024 11:03:50 +0000 (12:03 +0100)]
Logging-Pattern überarbeitet

10 months agoUnnötige Kommandos aus der `README.sh` entfernt
Kai Moritz [Sun, 29 Sep 2024 07:44:09 +0000 (09:44 +0200)]
Unnötige Kommandos aus der `README.sh` entfernt

10 months ago`docker` in `simple-producer` verwandelt`
Kai Moritz [Sat, 28 Sep 2024 05:49:04 +0000 (07:49 +0200)]
`docker` in `simple-producer` verwandelt`

10 months agoSchema-Registry & Connect aus dem Setup für die Grundlagen entfernt grundlagen/docker grundlagen/docker--2025-01-signal grundlagen/docker--2025-01-signal-gradle grundlagen/docker--2025-02-signal grundlagen/docker--2025-03-18--19-42 grundlagen/docker--2025-03-signal grundlagen/docker--2025-04-signal grundlagen/docker--2025-04-signal-spickzettel grundlagen/docker--2025-05-lvm grundlagen/docker--2025-05-lvm--spickzettel grundlagen/docker--2025-05-signal-spickzettel grundlagen/docker--2025-07-05 grundlagen/docker--COMMITS--2025-02 grundlagen/docker--generics grundlagen/docker--generics4all grundlagen/docker--generics4some
Kai Moritz [Sat, 18 Jan 2025 08:53:21 +0000 (09:53 +0100)]
Schema-Registry & Connect aus dem Setup für die Grundlagen entfernt

10 months agoZoonavigator aus dem Docker-Setup entfernt
Kai Moritz [Sat, 18 Jan 2025 08:52:57 +0000 (09:52 +0100)]
Zoonavigator aus dem Docker-Setup entfernt

10 months agoKafka-Images auf 7.8.0 aktualisiert
Kai Moritz [Sat, 18 Jan 2025 08:51:52 +0000 (09:51 +0100)]
Kafka-Images auf 7.8.0 aktualisiert

13 months ago`log.retention.check.interval.ms` auf 10 Sekunden gesetzt
Kai Moritz [Sat, 26 Oct 2024 17:42:02 +0000 (19:42 +0200)]
`log.retention.check.interval.ms` auf 10 Sekunden gesetzt

14 months ago``version``-Eintrag in `docker-compose.yml` entfernt
Kai Moritz [Sat, 28 Sep 2024 09:08:51 +0000 (11:08 +0200)]
``version``-Eintrag in `docker-compose.yml` entfernt

14 months ago"Final Newline" in `.editorconfig` gefordert (scheint vim zu entsprechen)
Kai Moritz [Sat, 28 Sep 2024 07:42:36 +0000 (09:42 +0200)]
"Final Newline" in `.editorconfig` gefordert (scheint vim zu entsprechen)

14 months ago`.gitignore` und `.editorconfig` hinzugefügt
Kai Moritz [Sat, 28 Sep 2024 06:35:51 +0000 (08:35 +0200)]
`.gitignore` und `.editorconfig` hinzugefügt

14 months agoSchreibweise des CLI-Kommandos für Docker-Compose korrigiert
Kai Moritz [Sat, 28 Sep 2024 05:43:48 +0000 (07:43 +0200)]
Schreibweise des CLI-Kommandos für Docker-Compose korrigiert

14 months agoUpgrade der verwendeten Kafka-Images auf 7.7.1
Kai Moritz [Wed, 25 Sep 2024 12:26:14 +0000 (14:26 +0200)]
Upgrade der verwendeten Kafka-Images auf 7.7.1

2 years agoZooNavigator in den Demo-Stack aufgenommen
Kai Moritz [Sun, 8 Oct 2023 13:23:57 +0000 (15:23 +0200)]
ZooNavigator in den Demo-Stack aufgenommen

2 years ago`README.sh` bricht ab, wenn `setup` nicht erfolgreich ist!
Kai Moritz [Sat, 14 Oct 2023 17:25:10 +0000 (19:25 +0200)]
`README.sh` bricht ab, wenn `setup` nicht erfolgreich ist!

2 years agoStart von Service `setup` startet auch `cli`
Kai Moritz [Fri, 13 Oct 2023 11:39:45 +0000 (13:39 +0200)]
Start von Service `setup` startet auch `cli`

2 years agoDer Service `setup` wartet bereits auf den Cluster
Kai Moritz [Sat, 14 Oct 2023 16:44:10 +0000 (18:44 +0200)]
Der Service `setup` wartet bereits auf den Cluster

2 years agoGrace-Period für Broker und cli/setup gesetzt
Kai Moritz [Fri, 13 Oct 2023 08:17:23 +0000 (10:17 +0200)]
Grace-Period für Broker und cli/setup gesetzt

2 years agoSchönere YAML-Syntax für `setup`-Service
Kai Moritz [Fri, 6 Oct 2023 17:13:41 +0000 (19:13 +0200)]
Schönere YAML-Syntax für `setup`-Service

2 years agoServices `schema-registry` und `connect` hinzugefügt
Kai Moritz [Fri, 6 Oct 2023 14:28:46 +0000 (16:28 +0200)]
Services `schema-registry` und `connect` hinzugefügt

2 years agoHilfs-Services `setup` überarbeitet
Kai Moritz [Fri, 6 Oct 2023 13:12:37 +0000 (15:12 +0200)]
Hilfs-Services `setup` überarbeitet

2 years agoVolumes für die Log-/Config-Daten und Zookeeper hinzugefügt
Kai Moritz [Mon, 16 Oct 2023 19:13:52 +0000 (21:13 +0200)]
Volumes für die Log-/Config-Daten und Zookeeper hinzugefügt

2 years agoSetup zurück auf Confluent (Version 7.5.1) mit Zookeeper umestellt
Kai Moritz [Mon, 16 Oct 2023 19:05:08 +0000 (21:05 +0200)]
Setup zurück auf Confluent (Version 7.5.1) mit Zookeeper umestellt

2 years agoAKHQ auf einen eindeutigeren Port verlegt grundlagen/docker---2023-06-signal
Kai Moritz [Mon, 12 Jun 2023 19:21:06 +0000 (21:21 +0200)]
AKHQ auf einen eindeutigeren Port verlegt

2 years agoAutomatisches entfernen von Orphans beim Start
Kai Moritz [Sun, 11 Jun 2023 21:14:51 +0000 (23:14 +0200)]
Automatisches entfernen von Orphans beim Start

2 years agoDocker-Setup in das Unterverzeichnis `docker` verschoben
Kai Moritz [Sun, 11 Jun 2023 12:46:07 +0000 (14:46 +0200)]
Docker-Setup in das Unterverzeichnis `docker` verschoben

2 years agoDocker-Setup auf `bitnami/kafka:3.4` aktualisiert und vereinfacht
Kai Moritz [Sun, 11 Jun 2023 11:55:20 +0000 (13:55 +0200)]
Docker-Setup auf `bitnami/kafka:3.4` aktualisiert und vereinfacht

* Die Konfiguration musste an (undokumentierte?!) Änderungen in der
  version 3.4 von `bitnami/kafka` angepasst werden.
* Die drei Broker spielen jetzt gleichzeitig Controller. D.h., der
  Service `kafka-0`, der explizit Controller gespielt hat, fällt weg.

2 years agoBedienbarkeit des Setups verbessert
Kai Moritz [Thu, 8 Jun 2023 08:35:41 +0000 (10:35 +0200)]
Bedienbarkeit des Setups verbessert

* Setup starten mit `docker-compose up -t0 -d cli`
** Dabei wird _nicht_ automatisch das Topic `test` neu angelegt
** D.h., die Daten gehen nicht unbeabsichtigt verloren, wenn man mit
   `up -d` prüft, ob noc alles läuft!
* Das Topic `test` kan mit `docker-compose restart -t0 setup` explizit
  gelöscht und neu angelegt (aka geleert) werden.

3 years ago`docker-compose up setup` startet auch die cli docker--2023-02-signal
Kai Moritz [Thu, 8 Dec 2022 17:38:43 +0000 (18:38 +0100)]
`docker-compose up setup` startet auch die cli

3 years agoAKHQ zu dem Basis-Setup hinzugefügt
Kai Moritz [Thu, 8 Dec 2022 17:37:08 +0000 (18:37 +0100)]
AKHQ zu dem Basis-Setup hinzugefügt

3 years agoCompose-Setup auf bitnami mit KRAFT umgestellt docker--lvm-2-tage--easy-path
Kai Moritz [Mon, 21 Nov 2022 21:58:22 +0000 (22:58 +0100)]
Compose-Setup auf bitnami mit KRAFT umgestellt

* Setup aus Unterschied zu `spring-consumer--json--adder` übernommen.
* Auch das `README.sh` entsprechend angepasst.

3 years agoFür ordering-Übung werden zwei Partitionen benötigt! docker---lvm-2-tage
Kai Moritz [Tue, 26 Jul 2022 17:58:49 +0000 (19:58 +0200)]
Für ordering-Übung werden zwei Partitionen benötigt!

3 years agoSetup mit 3 Broker und Topic-Erzeugung mit Setup für acks-Übung
Kai Moritz [Tue, 26 Jul 2022 17:52:28 +0000 (19:52 +0200)]
Setup mit 3 Broker und Topic-Erzeugung mit Setup für acks-Übung

3 years agoMerge der Upgrades für Confluent/Spring-Boot (Branch 'first-contact')
Kai Moritz [Fri, 22 Jul 2022 18:50:15 +0000 (20:50 +0200)]
Merge der Upgrades für Confluent/Spring-Boot (Branch 'first-contact')

3 years agoUpgrade von Spring Boot und den Confluent-Kafka-Images
Kai Moritz [Fri, 22 Jul 2022 18:04:07 +0000 (20:04 +0200)]
Upgrade von Spring Boot und den Confluent-Kafka-Images

* Upgrade der Kafk-Images von Confluent 7.0.2 auf 7.1.3
** Unterstützt Kafka 3.1.x (siehe https://docs.confluent.io/platform/current/installation/versions-interoperability.html[Versions-Matrix])
* Upgrade für Spring Boot von 2.6.5 auf 2.7.2
** Enthält Kafka: 3.1.1
** Enthält Spring Kafka: 2.8.8

3 years agoSetup aus der Intro-Übung übernommen
Kai Moritz [Sun, 3 Apr 2022 07:26:56 +0000 (09:26 +0200)]
Setup aus der Intro-Übung übernommen

3 years agoSetup "entkernt": Implementierungen entfernt
Kai Moritz [Sun, 3 Apr 2022 07:23:57 +0000 (09:23 +0200)]
Setup "entkernt": Implementierungen entfernt

3 years agoUpgrade der Images von Confluent 6.2.0 auf 7.0.2
Kai Moritz [Sun, 3 Apr 2022 06:15:30 +0000 (08:15 +0200)]
Upgrade der Images von Confluent 6.2.0 auf 7.0.2

3 years agoREADME.sh verwendet den cli-Service für Kommandos
Kai Moritz [Fri, 1 Apr 2022 09:56:34 +0000 (11:56 +0200)]
README.sh verwendet den cli-Service für Kommandos

3 years agoFälschlich hartkodiertes Topic gegen Variable getauscht
Kai Moritz [Fri, 25 Mar 2022 14:27:50 +0000 (15:27 +0100)]
Fälschlich hartkodiertes Topic gegen Variable getauscht

3 years agoCode reorganisiert, um Änderungen vergleichbarer zu machen
Kai Moritz [Fri, 25 Mar 2022 10:19:03 +0000 (11:19 +0100)]
Code reorganisiert, um Änderungen vergleichbarer zu machen

3 years agoUpgrade für Spring Boot 2.6.0 -> 2.6.5
Kai Moritz [Fri, 25 Mar 2022 08:25:54 +0000 (09:25 +0100)]
Upgrade für Spring Boot 2.6.0 -> 2.6.5

* Kafka: 3.0.1
* Spring Kafka: 2.8.4

4 years agoFirst Contact: Simple Producer & Consumer
Kai Moritz [Tue, 14 Dec 2021 17:55:02 +0000 (18:55 +0100)]
First Contact: Simple Producer & Consumer