demos/kafka/training
13 months agoCleanup setzt GIT-Repo von Cruise Control zurück config/sasl-scram---2023-10-signal
Kai Moritz [Sun, 15 Oct 2023 11:41:43 +0000 (13:41 +0200)]
Cleanup setzt GIT-Repo von Cruise Control zurück

13 months agoACLs für AKHQ (andere UIs wahrscheinlich auch)
Kai Moritz [Sun, 15 Oct 2023 09:53:45 +0000 (11:53 +0200)]
ACLs für AKHQ (andere UIs wahrscheinlich auch)

13 months agoSASL-Authorisierung von PLAIN auf SCRAM-SHA-512 umgestellt
Kai Moritz [Sat, 14 Oct 2023 17:20:40 +0000 (19:20 +0200)]
SASL-Authorisierung von PLAIN auf SCRAM-SHA-512 umgestellt

13 months agoDie Adressen DOCKER und LOCALHOST über ACLs abgesichert config/sasl-plain---2023-10-signal
Kai Moritz [Sat, 14 Oct 2023 16:49:20 +0000 (18:49 +0200)]
Die Adressen DOCKER und LOCALHOST über ACLs abgesichert

* Freifahrtschein für die Kommunikation über die BROKER-Adresse
* Realisiert über das Hinzufügen des Principals `User:ANONYMOUS` zu den
  `super.users` des Clusters -- dies funktioniert, da nur die Aufrufe, die
  über die BROKER-Adresse abgewickelt werden diesem Benutzer zugeordnet
  werden, da nur diese Adresse im `PLAINTEXT`-Modus betrieben wird.
* Für alle anderen Adressen hat der Principal einen abweichenden, über die
  _erfolgreiche Authorisierung_ vorgegebenen Principal.
* Wenn über diese Adressen _ohne erfolgreiche Authorisierung_ zugegriffen
  wird, werden die Zugriffe abgewährt!

13 months ago`README.sh` baut Cruise Control mit
Kai Moritz [Sat, 14 Oct 2023 16:48:12 +0000 (18:48 +0200)]
`README.sh` baut Cruise Control mit

13 months agoDer Cruise-Control-Reporter berichtet über die BROKER-Adresse
Kai Moritz [Sat, 14 Oct 2023 16:41:00 +0000 (18:41 +0200)]
Der Cruise-Control-Reporter berichtet über die BROKER-Adresse

13 months agoProducer & Consumer greifen über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 16:31:58 +0000 (18:31 +0200)]
Producer & Consumer greifen über abgesicherte Adresse zu

13 months agoDie Cruise Control Reporter greifen über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 15:12:20 +0000 (17:12 +0200)]
Die Cruise Control Reporter greifen über abgesicherte Adresse zu

13 months agoAKHQ greift über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 14:45:32 +0000 (16:45 +0200)]
AKHQ greift über abgesicherte Adresse zu

13 months agoConnect greift über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 12:23:45 +0000 (14:23 +0200)]
Connect greift über abgesicherte Adresse zu

13 months agoSchema-Registry greift über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 12:16:49 +0000 (14:16 +0200)]
Schema-Registry greift über abgesicherte Adresse zu

13 months agoBeispiel: Schema erzeugen und abfragen
Kai Moritz [Fri, 13 Oct 2023 12:16:23 +0000 (14:16 +0200)]
Beispiel: Schema erzeugen und abfragen

13 months agoDOCKER und LOCALHOST erfordern Authentifizierung
Kai Moritz [Wed, 11 Oct 2023 16:40:55 +0000 (18:40 +0200)]
DOCKER und LOCALHOST erfordern Authentifizierung

13 months agoExpliziten Listener für Broker eingeführt (BROKER: Broker, DOCKER: user)
Kai Moritz [Wed, 11 Oct 2023 16:31:53 +0000 (18:31 +0200)]
Expliziten Listener für Broker eingeführt (BROKER: Broker, DOCKER: user)

13 months agoBootstrap-Server für den Cruise-Control-Reporter explizit gesetzt config/cruise-control---2023-10-signal
Kai Moritz [Thu, 12 Oct 2023 21:19:15 +0000 (23:19 +0200)]
Bootstrap-Server für den Cruise-Control-Reporter explizit gesetzt

Siehe https://github.com/linkedin/cruise-control/issues/583#issuecomment-489404389["Versteckte" Konfigurationsmöglichkeiten]

13 months agoAuf die Spring-Version des Simple Consumer umgestellt
Kai Moritz [Wed, 11 Oct 2023 17:16:56 +0000 (19:16 +0200)]
Auf die Spring-Version des Simple Consumer umgestellt

13 months agoProducer und Consumer-Group hinzugefügt
Kai Moritz [Wed, 11 Oct 2023 16:20:37 +0000 (18:20 +0200)]
Producer und Consumer-Group hinzugefügt

13 months ago4. Broker hinzugefügt
Kai Moritz [Wed, 11 Oct 2023 16:20:07 +0000 (18:20 +0200)]
4. Broker hinzugefügt

13 months agoUI für Cruise Control direkt mit in das Image eingebaut
Kai Moritz [Mon, 9 Oct 2023 17:35:39 +0000 (19:35 +0200)]
UI für Cruise Control direkt mit in das Image eingebaut

13 months agoCORS für die cruise-control-ui konfiguriert - _Hilft nicht :/_
Kai Moritz [Sun, 8 Oct 2023 21:03:09 +0000 (23:03 +0200)]
CORS für die cruise-control-ui konfiguriert - _Hilft nicht :/_

* Siehe: https://github.com/linkedin/cruise-control-ui/wiki/CORS-Method
* Die Zugriffe werden weiter abgelehnt.
* _Grund:_ Die Vorgaben erlauben nur einen speziellen Header.
* Die Anfragen werden dann wegen Headern wie z.B. `Content-Type` abgelehnt.
* *Idee:* UI in das CC-Image einbauen - _müsste laut Parametern gehen!_

13 months agoService `cruise-control-ui` ergänzt: Scheitert noch an CORS
Kai Moritz [Sun, 8 Oct 2023 20:31:06 +0000 (22:31 +0200)]
Service `cruise-control-ui` ergänzt: Scheitert noch an CORS

13 months agoGIT-Repo für cruise-control-ui hinzugefügt
Kai Moritz [Sun, 8 Oct 2023 20:19:58 +0000 (22:19 +0200)]
GIT-Repo für cruise-control-ui hinzugefügt

13 months agoDocker-Image für Cruise Control gebaut & eingebunden
Kai Moritz [Sun, 8 Oct 2023 17:59:29 +0000 (19:59 +0200)]
Docker-Image für Cruise Control gebaut & eingebunden

13 months agoVersion 2.5.128 von Cruise Control gewählt
Kai Moritz [Sun, 8 Oct 2023 17:56:41 +0000 (19:56 +0200)]
Version 2.5.128 von Cruise Control gewählt

13 months agoGIT-Repo von Cruise Control hinzugefügt!
Kai Moritz [Sun, 8 Oct 2023 14:33:23 +0000 (16:33 +0200)]
GIT-Repo von Cruise Control hinzugefügt!

13 months agoZooNavigator in den Demo-Stack aufgenommen grundlagen/docker---2023-10-signal
Kai Moritz [Sun, 8 Oct 2023 13:23:57 +0000 (15:23 +0200)]
ZooNavigator in den Demo-Stack aufgenommen

13 months agoAclAuthorizer aktiviert
Kai Moritz [Sat, 7 Oct 2023 14:27:24 +0000 (16:27 +0200)]
AclAuthorizer aktiviert

13 months agoJMX-Exporter für Prometheus auf Port 80 aktiviert
Kai Moritz [Sat, 7 Oct 2023 13:03:14 +0000 (15:03 +0200)]
JMX-Exporter für Prometheus auf Port 80 aktiviert

* Siehe: https://github.com/prometheus/jmx_exporter
* Bereits in Confluent eingebaute Version 0.18.0 verwendet

13 months agoMetriken sind über JMX remote abrufbar
Kai Moritz [Mon, 16 Oct 2023 19:46:58 +0000 (21:46 +0200)]
Metriken sind über JMX remote abrufbar

13 months ago`README.sh` bricht ab, wenn `setup` nicht erfolgreich ist!
Kai Moritz [Sat, 14 Oct 2023 17:25:10 +0000 (19:25 +0200)]
`README.sh` bricht ab, wenn `setup` nicht erfolgreich ist!

13 months agoStart von Service `setup` startet auch `cli`
Kai Moritz [Fri, 13 Oct 2023 11:39:45 +0000 (13:39 +0200)]
Start von Service `setup` startet auch `cli`

13 months agoDer Service `setup` wartet bereits auf den Cluster
Kai Moritz [Sat, 14 Oct 2023 16:44:10 +0000 (18:44 +0200)]
Der Service `setup` wartet bereits auf den Cluster

13 months agoGrace-Period für Broker und cli/setup gesetzt
Kai Moritz [Fri, 13 Oct 2023 08:17:23 +0000 (10:17 +0200)]
Grace-Period für Broker und cli/setup gesetzt

13 months agoSchönere YAML-Syntax für `setup`-Service
Kai Moritz [Fri, 6 Oct 2023 17:13:41 +0000 (19:13 +0200)]
Schönere YAML-Syntax für `setup`-Service

13 months agoServices `schema-registry` und `connect` hinzugefügt
Kai Moritz [Fri, 6 Oct 2023 14:28:46 +0000 (16:28 +0200)]
Services `schema-registry` und `connect` hinzugefügt

13 months agoHilfs-Services `setup` überarbeitet
Kai Moritz [Fri, 6 Oct 2023 13:12:37 +0000 (15:12 +0200)]
Hilfs-Services `setup` überarbeitet

13 months agoVolumes für die Log-/Config-Daten und Zookeeper hinzugefügt
Kai Moritz [Mon, 16 Oct 2023 19:13:52 +0000 (21:13 +0200)]
Volumes für die Log-/Config-Daten und Zookeeper hinzugefügt

13 months agoSetup zurück auf Confluent (Version 7.5.1) mit Zookeeper umestellt
Kai Moritz [Mon, 16 Oct 2023 19:05:08 +0000 (21:05 +0200)]
Setup zurück auf Confluent (Version 7.5.1) mit Zookeeper umestellt

17 months agoAKHQ auf einen eindeutigeren Port verlegt grundlagen/docker---2023-06-signal
Kai Moritz [Mon, 12 Jun 2023 19:21:06 +0000 (21:21 +0200)]
AKHQ auf einen eindeutigeren Port verlegt

17 months agoAutomatisches entfernen von Orphans beim Start
Kai Moritz [Sun, 11 Jun 2023 21:14:51 +0000 (23:14 +0200)]
Automatisches entfernen von Orphans beim Start

17 months agoDocker-Setup in das Unterverzeichnis `docker` verschoben
Kai Moritz [Sun, 11 Jun 2023 12:46:07 +0000 (14:46 +0200)]
Docker-Setup in das Unterverzeichnis `docker` verschoben

17 months agoDocker-Setup auf `bitnami/kafka:3.4` aktualisiert und vereinfacht
Kai Moritz [Sun, 11 Jun 2023 11:55:20 +0000 (13:55 +0200)]
Docker-Setup auf `bitnami/kafka:3.4` aktualisiert und vereinfacht

* Die Konfiguration musste an (undokumentierte?!) Änderungen in der
  version 3.4 von `bitnami/kafka` angepasst werden.
* Die drei Broker spielen jetzt gleichzeitig Controller. D.h., der
  Service `kafka-0`, der explizit Controller gespielt hat, fällt weg.

17 months agoBedienbarkeit des Setups verbessert
Kai Moritz [Thu, 8 Jun 2023 08:35:41 +0000 (10:35 +0200)]
Bedienbarkeit des Setups verbessert

* Setup starten mit `docker-compose up -t0 -d cli`
** Dabei wird _nicht_ automatisch das Topic `test` neu angelegt
** D.h., die Daten gehen nicht unbeabsichtigt verloren, wenn man mit
   `up -d` prüft, ob noc alles läuft!
* Das Topic `test` kan mit `docker-compose restart -t0 setup` explizit
  gelöscht und neu angelegt (aka geleert) werden.

23 months ago`docker-compose up setup` startet auch die cli docker--2023-02-signal
Kai Moritz [Thu, 8 Dec 2022 17:38:43 +0000 (18:38 +0100)]
`docker-compose up setup` startet auch die cli

23 months agoAKHQ zu dem Basis-Setup hinzugefügt
Kai Moritz [Thu, 8 Dec 2022 17:37:08 +0000 (18:37 +0100)]
AKHQ zu dem Basis-Setup hinzugefügt

2 years agoCompose-Setup auf bitnami mit KRAFT umgestellt docker--lvm-2-tage--easy-path
Kai Moritz [Mon, 21 Nov 2022 21:58:22 +0000 (22:58 +0100)]
Compose-Setup auf bitnami mit KRAFT umgestellt

* Setup aus Unterschied zu `spring-consumer--json--adder` übernommen.
* Auch das `README.sh` entsprechend angepasst.

2 years agoFür ordering-Übung werden zwei Partitionen benötigt! docker---lvm-2-tage
Kai Moritz [Tue, 26 Jul 2022 17:58:49 +0000 (19:58 +0200)]
Für ordering-Übung werden zwei Partitionen benötigt!

2 years agoSetup mit 3 Broker und Topic-Erzeugung mit Setup für acks-Übung
Kai Moritz [Tue, 26 Jul 2022 17:52:28 +0000 (19:52 +0200)]
Setup mit 3 Broker und Topic-Erzeugung mit Setup für acks-Übung

2 years agoMerge der Upgrades für Confluent/Spring-Boot (Branch 'first-contact')
Kai Moritz [Fri, 22 Jul 2022 18:50:15 +0000 (20:50 +0200)]
Merge der Upgrades für Confluent/Spring-Boot (Branch 'first-contact')

2 years agoUpgrade von Spring Boot und den Confluent-Kafka-Images
Kai Moritz [Fri, 22 Jul 2022 18:04:07 +0000 (20:04 +0200)]
Upgrade von Spring Boot und den Confluent-Kafka-Images

* Upgrade der Kafk-Images von Confluent 7.0.2 auf 7.1.3
** Unterstützt Kafka 3.1.x (siehe https://docs.confluent.io/platform/current/installation/versions-interoperability.html[Versions-Matrix])
* Upgrade für Spring Boot von 2.6.5 auf 2.7.2
** Enthält Kafka: 3.1.1
** Enthält Spring Kafka: 2.8.8

2 years agoSetup aus der Intro-Übung übernommen
Kai Moritz [Sun, 3 Apr 2022 07:26:56 +0000 (09:26 +0200)]
Setup aus der Intro-Übung übernommen

2 years agoSetup "entkernt": Implementierungen entfernt
Kai Moritz [Sun, 3 Apr 2022 07:23:57 +0000 (09:23 +0200)]
Setup "entkernt": Implementierungen entfernt

2 years agoUpgrade der Images von Confluent 6.2.0 auf 7.0.2
Kai Moritz [Sun, 3 Apr 2022 06:15:30 +0000 (08:15 +0200)]
Upgrade der Images von Confluent 6.2.0 auf 7.0.2

2 years agoREADME.sh verwendet den cli-Service für Kommandos
Kai Moritz [Fri, 1 Apr 2022 09:56:34 +0000 (11:56 +0200)]
README.sh verwendet den cli-Service für Kommandos

2 years agoFälschlich hartkodiertes Topic gegen Variable getauscht
Kai Moritz [Fri, 25 Mar 2022 14:27:50 +0000 (15:27 +0100)]
Fälschlich hartkodiertes Topic gegen Variable getauscht

2 years agoCode reorganisiert, um Änderungen vergleichbarer zu machen
Kai Moritz [Fri, 25 Mar 2022 10:19:03 +0000 (11:19 +0100)]
Code reorganisiert, um Änderungen vergleichbarer zu machen

2 years agoUpgrade für Spring Boot 2.6.0 -> 2.6.5
Kai Moritz [Fri, 25 Mar 2022 08:25:54 +0000 (09:25 +0100)]
Upgrade für Spring Boot 2.6.0 -> 2.6.5

* Kafka: 3.0.1
* Spring Kafka: 2.8.4

2 years agoFirst Contact: Simple Producer & Consumer
Kai Moritz [Tue, 14 Dec 2021 17:55:02 +0000 (18:55 +0100)]
First Contact: Simple Producer & Consumer