demos/kafka/training
5 months agoSASL-Authorisierung von PLAIN auf SCRAM-SHA-512 umgestellt config/sasl-scram
Kai Moritz [Sat, 14 Oct 2023 17:20:40 +0000 (19:20 +0200)]
SASL-Authorisierung von PLAIN auf SCRAM-SHA-512 umgestellt

5 months agoACLs für AKHQ (andere UIs wahrscheinlich auch) config/sasl-plain
Kai Moritz [Sun, 15 Oct 2023 09:53:45 +0000 (11:53 +0200)]
ACLs für AKHQ (andere UIs wahrscheinlich auch)

5 months agoDie Adressen DOCKER und LOCALHOST über ACLs abgesichert
Kai Moritz [Sat, 14 Oct 2023 16:49:20 +0000 (18:49 +0200)]
Die Adressen DOCKER und LOCALHOST über ACLs abgesichert

* Freifahrtschein für die Kommunikation über die BROKER-Adresse
* Realisiert über das Hinzufügen des Principals `User:ANONYMOUS` zu den
  `super.users` des Clusters -- dies funktioniert, da nur die Aufrufe, die
  über die BROKER-Adresse abgewickelt werden diesem Benutzer zugeordnet
  werden, da nur diese Adresse im `PLAINTEXT`-Modus betrieben wird.
* Für alle anderen Adressen hat der Principal einen abweichenden, über die
  _erfolgreiche Authorisierung_ vorgegebenen Principal.
* Wenn über diese Adressen _ohne erfolgreiche Authorisierung_ zugegriffen
  wird, werden die Zugriffe abgewährt!

5 months agoDer Cruise-Control-Reporter berichtet über die BROKER-Adresse
Kai Moritz [Sat, 14 Oct 2023 16:41:00 +0000 (18:41 +0200)]
Der Cruise-Control-Reporter berichtet über die BROKER-Adresse

5 months agoProducer & Consumer greifen über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 16:31:58 +0000 (18:31 +0200)]
Producer & Consumer greifen über abgesicherte Adresse zu

5 months agoDie Cruise Control Reporter greifen über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 15:12:20 +0000 (17:12 +0200)]
Die Cruise Control Reporter greifen über abgesicherte Adresse zu

5 months agoAKHQ greift über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 14:45:32 +0000 (16:45 +0200)]
AKHQ greift über abgesicherte Adresse zu

5 months agoConnect greift über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 12:23:45 +0000 (14:23 +0200)]
Connect greift über abgesicherte Adresse zu

5 months agoSchema-Registry greift über abgesicherte Adresse zu
Kai Moritz [Fri, 13 Oct 2023 12:16:49 +0000 (14:16 +0200)]
Schema-Registry greift über abgesicherte Adresse zu

5 months agoBeispiel: Schema erzeugen und abfragen
Kai Moritz [Fri, 13 Oct 2023 12:16:23 +0000 (14:16 +0200)]
Beispiel: Schema erzeugen und abfragen

5 months agoDOCKER und LOCALHOST erfordern Authentifizierung
Kai Moritz [Wed, 11 Oct 2023 16:40:55 +0000 (18:40 +0200)]
DOCKER und LOCALHOST erfordern Authentifizierung

5 months agoExpliziten Listener für Broker eingeführt (BROKER: Broker, DOCKER: user)
Kai Moritz [Wed, 11 Oct 2023 16:31:53 +0000 (18:31 +0200)]
Expliziten Listener für Broker eingeführt (BROKER: Broker, DOCKER: user)

5 months agoAclAuthorizer aktiviert
Kai Moritz [Sat, 7 Oct 2023 14:27:24 +0000 (16:27 +0200)]
AclAuthorizer aktiviert

5 months agoEigenes Kafka-Image von `cp-kafka` mit cruis-control-JAR abgeleitet config/cruise-control
Kai Moritz [Fri, 10 Nov 2023 11:01:20 +0000 (12:01 +0100)]
Eigenes Kafka-Image von `cp-kafka` mit cruis-control-JAR abgeleitet

5 months agoDockerfile von Cruise Control für eigenes Kafka-Dockerimage kopiert
Kai Moritz [Fri, 10 Nov 2023 11:41:55 +0000 (12:41 +0100)]
Dockerfile von Cruise Control für eigenes Kafka-Dockerimage kopiert

5 months agoDockerfile für Cruise Control in Unterverzeichnis verschoben
Kai Moritz [Fri, 10 Nov 2023 10:49:03 +0000 (11:49 +0100)]
Dockerfile für Cruise Control in Unterverzeichnis verschoben

5 months agoCruise Control wird in einem Docker-Image gebaut
Kai Moritz [Sun, 5 Nov 2023 14:19:28 +0000 (15:19 +0100)]
Cruise Control wird in einem Docker-Image gebaut

- Der Build ist so wesentlich einfacher reproduzierbar, so dass er auch
  von den Teilnehmern ausgeführt werden kann.
- Da noch nicht gelöst wrude, wie das für das Sammeln der Laufzeitdaten
  benötigte JAR `cruise-control-metrics-reporter.jar` in die Broker
  hereingereicht werden kann, wurde die entsprechende Konfiguration in
  den Brokern vorübergehend entfernt.

5 months ago`README.sh` an Übung angepasst
Kai Moritz [Fri, 10 Nov 2023 10:26:13 +0000 (11:26 +0100)]
`README.sh` an Übung angepasst

5 months agoBootstrap-Server für den Cruise-Control-Reporter explizit gesetzt
Kai Moritz [Thu, 12 Oct 2023 21:19:15 +0000 (23:19 +0200)]
Bootstrap-Server für den Cruise-Control-Reporter explizit gesetzt

Siehe https://github.com/linkedin/cruise-control/issues/583#issuecomment-489404389["Versteckte" Konfigurationsmöglichkeiten]

5 months ago4. Broker hinzugefügt
Kai Moritz [Wed, 11 Oct 2023 16:20:07 +0000 (18:20 +0200)]
4. Broker hinzugefügt

5 months agoUI für Cruise Control direkt mit in das Image eingebaut
Kai Moritz [Mon, 9 Oct 2023 17:35:39 +0000 (19:35 +0200)]
UI für Cruise Control direkt mit in das Image eingebaut

5 months agoCORS für die cruise-control-ui konfiguriert - _Hilft nicht :/_
Kai Moritz [Sun, 8 Oct 2023 21:03:09 +0000 (23:03 +0200)]
CORS für die cruise-control-ui konfiguriert - _Hilft nicht :/_

* Siehe: https://github.com/linkedin/cruise-control-ui/wiki/CORS-Method
* Die Zugriffe werden weiter abgelehnt.
* _Grund:_ Die Vorgaben erlauben nur einen speziellen Header.
* Die Anfragen werden dann wegen Headern wie z.B. `Content-Type` abgelehnt.
* *Idee:* UI in das CC-Image einbauen - _müsste laut Parametern gehen!_

5 months agoService `cruise-control-ui` ergänzt: Scheitert noch an CORS
Kai Moritz [Sun, 8 Oct 2023 20:31:06 +0000 (22:31 +0200)]
Service `cruise-control-ui` ergänzt: Scheitert noch an CORS

5 months agoGIT-Repo für cruise-control-ui hinzugefügt
Kai Moritz [Sun, 8 Oct 2023 20:19:58 +0000 (22:19 +0200)]
GIT-Repo für cruise-control-ui hinzugefügt

5 months agoDocker-Image für Cruise Control gebaut & eingebunden
Kai Moritz [Sun, 8 Oct 2023 17:59:29 +0000 (19:59 +0200)]
Docker-Image für Cruise Control gebaut & eingebunden

5 months agoGIT-Repo von Cruise Control hinzugefügt!
Kai Moritz [Sun, 8 Oct 2023 14:33:23 +0000 (16:33 +0200)]
GIT-Repo von Cruise Control hinzugefügt!

5 months agoAuf die Spring-Version des Simple Consumer umgestellt
Kai Moritz [Wed, 11 Oct 2023 17:16:56 +0000 (19:16 +0200)]
Auf die Spring-Version des Simple Consumer umgestellt

5 months agoProducer und Consumer-Group hinzugefügt
Kai Moritz [Wed, 11 Oct 2023 16:20:37 +0000 (18:20 +0200)]
Producer und Consumer-Group hinzugefügt

6 months agoZooNavigator in den Demo-Stack aufgenommen grundlagen/docker
Kai Moritz [Sun, 8 Oct 2023 13:23:57 +0000 (15:23 +0200)]
ZooNavigator in den Demo-Stack aufgenommen

6 months ago`README.sh` bricht ab, wenn `setup` nicht erfolgreich ist!
Kai Moritz [Sat, 14 Oct 2023 17:25:10 +0000 (19:25 +0200)]
`README.sh` bricht ab, wenn `setup` nicht erfolgreich ist!

6 months agoStart von Service `setup` startet auch `cli`
Kai Moritz [Fri, 13 Oct 2023 11:39:45 +0000 (13:39 +0200)]
Start von Service `setup` startet auch `cli`

6 months agoDer Service `setup` wartet bereits auf den Cluster
Kai Moritz [Sat, 14 Oct 2023 16:44:10 +0000 (18:44 +0200)]
Der Service `setup` wartet bereits auf den Cluster

6 months agoGrace-Period für Broker und cli/setup gesetzt
Kai Moritz [Fri, 13 Oct 2023 08:17:23 +0000 (10:17 +0200)]
Grace-Period für Broker und cli/setup gesetzt

6 months agoSchönere YAML-Syntax für `setup`-Service
Kai Moritz [Fri, 6 Oct 2023 17:13:41 +0000 (19:13 +0200)]
Schönere YAML-Syntax für `setup`-Service

6 months agoServices `schema-registry` und `connect` hinzugefügt
Kai Moritz [Fri, 6 Oct 2023 14:28:46 +0000 (16:28 +0200)]
Services `schema-registry` und `connect` hinzugefügt

6 months agoHilfs-Services `setup` überarbeitet
Kai Moritz [Fri, 6 Oct 2023 13:12:37 +0000 (15:12 +0200)]
Hilfs-Services `setup` überarbeitet

6 months agoVolumes für die Log-/Config-Daten und Zookeeper hinzugefügt
Kai Moritz [Mon, 16 Oct 2023 19:13:52 +0000 (21:13 +0200)]
Volumes für die Log-/Config-Daten und Zookeeper hinzugefügt

6 months agoSetup zurück auf Confluent (Version 7.5.1) mit Zookeeper umestellt
Kai Moritz [Mon, 16 Oct 2023 19:05:08 +0000 (21:05 +0200)]
Setup zurück auf Confluent (Version 7.5.1) mit Zookeeper umestellt

10 months agoAKHQ auf einen eindeutigeren Port verlegt grundlagen/docker---2023-06-signal
Kai Moritz [Mon, 12 Jun 2023 19:21:06 +0000 (21:21 +0200)]
AKHQ auf einen eindeutigeren Port verlegt

10 months agoAutomatisches entfernen von Orphans beim Start
Kai Moritz [Sun, 11 Jun 2023 21:14:51 +0000 (23:14 +0200)]
Automatisches entfernen von Orphans beim Start

10 months agoDocker-Setup in das Unterverzeichnis `docker` verschoben
Kai Moritz [Sun, 11 Jun 2023 12:46:07 +0000 (14:46 +0200)]
Docker-Setup in das Unterverzeichnis `docker` verschoben

10 months agoDocker-Setup auf `bitnami/kafka:3.4` aktualisiert und vereinfacht
Kai Moritz [Sun, 11 Jun 2023 11:55:20 +0000 (13:55 +0200)]
Docker-Setup auf `bitnami/kafka:3.4` aktualisiert und vereinfacht

* Die Konfiguration musste an (undokumentierte?!) Änderungen in der
  version 3.4 von `bitnami/kafka` angepasst werden.
* Die drei Broker spielen jetzt gleichzeitig Controller. D.h., der
  Service `kafka-0`, der explizit Controller gespielt hat, fällt weg.

10 months agoBedienbarkeit des Setups verbessert
Kai Moritz [Thu, 8 Jun 2023 08:35:41 +0000 (10:35 +0200)]
Bedienbarkeit des Setups verbessert

* Setup starten mit `docker-compose up -t0 -d cli`
** Dabei wird _nicht_ automatisch das Topic `test` neu angelegt
** D.h., die Daten gehen nicht unbeabsichtigt verloren, wenn man mit
   `up -d` prüft, ob noc alles läuft!
* Das Topic `test` kan mit `docker-compose restart -t0 setup` explizit
  gelöscht und neu angelegt (aka geleert) werden.

16 months ago`docker-compose up setup` startet auch die cli docker--2023-02-signal
Kai Moritz [Thu, 8 Dec 2022 17:38:43 +0000 (18:38 +0100)]
`docker-compose up setup` startet auch die cli

16 months agoAKHQ zu dem Basis-Setup hinzugefügt
Kai Moritz [Thu, 8 Dec 2022 17:37:08 +0000 (18:37 +0100)]
AKHQ zu dem Basis-Setup hinzugefügt

17 months agoCompose-Setup auf bitnami mit KRAFT umgestellt docker--lvm-2-tage--easy-path
Kai Moritz [Mon, 21 Nov 2022 21:58:22 +0000 (22:58 +0100)]
Compose-Setup auf bitnami mit KRAFT umgestellt

* Setup aus Unterschied zu `spring-consumer--json--adder` übernommen.
* Auch das `README.sh` entsprechend angepasst.

21 months agoFür ordering-Übung werden zwei Partitionen benötigt! docker---lvm-2-tage
Kai Moritz [Tue, 26 Jul 2022 17:58:49 +0000 (19:58 +0200)]
Für ordering-Übung werden zwei Partitionen benötigt!

21 months agoSetup mit 3 Broker und Topic-Erzeugung mit Setup für acks-Übung
Kai Moritz [Tue, 26 Jul 2022 17:52:28 +0000 (19:52 +0200)]
Setup mit 3 Broker und Topic-Erzeugung mit Setup für acks-Übung

21 months agoMerge der Upgrades für Confluent/Spring-Boot (Branch 'first-contact')
Kai Moritz [Fri, 22 Jul 2022 18:50:15 +0000 (20:50 +0200)]
Merge der Upgrades für Confluent/Spring-Boot (Branch 'first-contact')

21 months agoUpgrade von Spring Boot und den Confluent-Kafka-Images
Kai Moritz [Fri, 22 Jul 2022 18:04:07 +0000 (20:04 +0200)]
Upgrade von Spring Boot und den Confluent-Kafka-Images

* Upgrade der Kafk-Images von Confluent 7.0.2 auf 7.1.3
** Unterstützt Kafka 3.1.x (siehe https://docs.confluent.io/platform/current/installation/versions-interoperability.html[Versions-Matrix])
* Upgrade für Spring Boot von 2.6.5 auf 2.7.2
** Enthält Kafka: 3.1.1
** Enthält Spring Kafka: 2.8.8

2 years agoSetup aus der Intro-Übung übernommen
Kai Moritz [Sun, 3 Apr 2022 07:26:56 +0000 (09:26 +0200)]
Setup aus der Intro-Übung übernommen

2 years agoSetup "entkernt": Implementierungen entfernt
Kai Moritz [Sun, 3 Apr 2022 07:23:57 +0000 (09:23 +0200)]
Setup "entkernt": Implementierungen entfernt

2 years agoUpgrade der Images von Confluent 6.2.0 auf 7.0.2
Kai Moritz [Sun, 3 Apr 2022 06:15:30 +0000 (08:15 +0200)]
Upgrade der Images von Confluent 6.2.0 auf 7.0.2

2 years agoREADME.sh verwendet den cli-Service für Kommandos
Kai Moritz [Fri, 1 Apr 2022 09:56:34 +0000 (11:56 +0200)]
README.sh verwendet den cli-Service für Kommandos

2 years agoFälschlich hartkodiertes Topic gegen Variable getauscht
Kai Moritz [Fri, 25 Mar 2022 14:27:50 +0000 (15:27 +0100)]
Fälschlich hartkodiertes Topic gegen Variable getauscht

2 years agoCode reorganisiert, um Änderungen vergleichbarer zu machen
Kai Moritz [Fri, 25 Mar 2022 10:19:03 +0000 (11:19 +0100)]
Code reorganisiert, um Änderungen vergleichbarer zu machen

2 years agoUpgrade für Spring Boot 2.6.0 -> 2.6.5
Kai Moritz [Fri, 25 Mar 2022 08:25:54 +0000 (09:25 +0100)]
Upgrade für Spring Boot 2.6.0 -> 2.6.5

* Kafka: 3.0.1
* Spring Kafka: 2.8.4

2 years agoFirst Contact: Simple Producer & Consumer
Kai Moritz [Tue, 14 Dec 2021 17:55:02 +0000 (18:55 +0100)]
First Contact: Simple Producer & Consumer