WIP:prometheus

WIP:prometheus

WIP:prometheus

WIP:prometheus

WIP

Strimzi: Enabled CruiseControl

kubectl -n juplo apply -f rebalance.yaml
kubectl -n juplo get kafkarebalances
kubectl -n juplo get kafkarebalances make-it-smoother -o yaml
kubectl -n juplo describe kafkarebalances make-it-smoother

kubectl -n juplo annotate kafkarebalance make-it-smoother strimzi.io/rebalance=approve
kubectl -n juplo describe kafkarebalance make-it-smoother
kubectl -n juplo annotate kafkarebalance make-it-smoother strimzi.io/rebalance=stop
kubectl -n juplo describe kafkarebalance make-it-smoother
kubectl -n juplo annotate kafkarebalance make-it-smoother strimzi.io/rebalance=refresh
kubectl -n juplo annotate kafkarebalance make-it-smoother strimzi.io/rebalance=approve

Strimzi: Scale: Added 2 more brokers

sudo mkdir /var/lib/local-storage/kafka-1
sudo mkdir /var/lib/local-storage/kafka-2

kubectl apply -f pv-kafka-1.yaml
kubectl apply -f pv-kafka-2.yaml

kubectl get pv

kubectl -n juplo apply -f cluster.yaml

kubectl -n juplo get pvc
kubectl -n juplo get all

Strimzi - Local Storage: Defined static PVs

See:

* https://kubernetes.io/blog/2019/04/04/kubernetes-1.14-local-persistent-volumes-ga/
* https://docs.confluent.io/operator/current/co-storage.html#use-statically-provisioned-persistent-volumes

sudo mkdir /var/lib/local-storage
sudo mkdir /var/lib/local-storage/zookeeper-0
sudo mkdir /var/lib/local-storage/kafka-0

kubectl -n juplo apply -f local-storage.yaml

kubectl apply -f pv-zookeeper-0.yaml
kubectl apply -f pv-kafka-0.yaml

kubectl get pv

kubectl -n juplo apply -f cluster.yaml
kubectl -n juplo get pvc
kubectl -n juplo get pvc/data-0-juplo-kafka-0 -o yaml

Strimzi - Blog 4: persistent storage with default storage-class

kubectl -n juplo apply -f cluster.yaml
kubectl -n juplo get pvc
kubectl -n juplo get pvc data-0-juplo-kafka-0 -o yaml

Strimzi - Blog 3: Strimzi Entity-Operator

kubectl -n juplo get all
kubectl -n juplo apply -f topic.yaml
kubectl -n juplo get kafkatopics
kubectl -n juplo get kafkatopics/test -o yaml

Strimzi - Blog 2: Make the cluster externally accessible (without TLS)

See:
https://itnext.io/kafka-on-kubernetes-the-strimzi-way-part-2-43192f1dd831

microk8s enable metallb
kubectl -n juplo apply -f cluster.yaml
kubectl -n juplo get configmap/strimzi-kafka-0 -o yaml
kubectl -n juplo get services
kafkacat -b 192.168.66.0 -L

Strimzi - Blog 1: Aligned example with part 1 from the blog

kubectl -n juplo apply -f cluster.yaml
kubectl -n juplo get configmap
kubectl -n juplo get configmap/strimzi-kafka-0 -o yaml

Strimzi - https://strimzi.io/quickstarts/ (with only 1Gi) -- WORKS

See:
https://strimzi.io/examples/latest/kafka/kafka-persistent-single.yaml

Start with: `kubectl -n juplo apply -f cluster.yaml`

Strimzi - Blog 1: Switched back to the unchanged example -- DOES NOT WORK

See:
https://itnext.io/kafka-on-kubernetes-the-strimzi-way-part-1-bdff3e451788

Start with: `kubectl -n juplo apply -f cluster.yaml`

Strimzi - Blog 1: First example, with some minor changes -- DOES NOT WORK

See: https://itnext.io/kafka-on-kubernetes-the-strimzi-way-part-1-bdff3e451788

Start with: `kubectl -n juplo apply -f cluster.yaml`

Strimzi - Installation of helm (0.37.0)

helm repo add strimzi https://strimzi.io/charts/
helm search repo strimzi --versions
kubectl create namespace juplo
helm install -n juplo strimzi-kafka strimzi/strimzi-kafka-operator

Use with: `kubectl -n juplo ...`

WIP

WIP:cli

WIP:cli

WIP

WIP

Renamed and duplicated YAML-files for services

Shortened file names

Removed not needed metadata and switched label and namespace to `kafka`

Converted `docker-compose.yml` to `*.yaml` with kompose

Switched template for kubernates to unmodified images without javaagent

Copied `docker-compose.yml` to subfolder `kubernetes`

SYNC-WALL -- Kubernetes

REVERT: Service `cli` zu dem Setup hinzugefügt

WIP:gitpod

WIP:gitpod

WIP:gitpod

WIP:brokers

WIP:brokers

WIP:brokers

WIP:brokers

WIP:brokers

WIP:brokers

WIP:Incre...

WIP:brokers

Increased number of Brokers from 3 to 5

WIP:brokers

WIP:brokers

WIP:yaml

WIP:grafana

WIP:grafana

WIP:grafana

Lowered scraping-interval of prometheus to 1s

Start of `jmx_exporter` is only delayed for 10 sec

Fixed the `jmx_prometheus_javaagent`

Die Bitnami-Images aktivieren KRaft jetzt automatisch

Service `cli` zu dem Setup hinzugefügt

WIP:clients

WIP:clients

Fixed activation of JMX for Zookeeper

Metrics are now also available via JMX directly

Added Dashboard for kafka-lag-exporter

WIP:burrow-uis

WIP:burrow-uis

WIP:volumes

WIP

WIP

WIP

WIP

WIP

WIP

WIP

WIP

WIP

WIP

Burrow's Zookeeper-Consumer is only needed, if offsets are stored there

Added Burrow

- See: https://github.com/linkedin/Burrow

Added `seglo/kafka-lag-exporter`

- See: https://github.com/seglo/kafka-lag-exporter#monitoring-with-grafana

Fixed the problem with the missing data in the Grfana dashboard

- The naming (and selection) of the broker-metrics that was defined in the
  configurtaion of the jmx-exporter did not match the naming in the
  predefined dashboard.
- Replaced the configuration for the jmx-exporter with the one that was
  defined in the same example, as the dashboard.

Data!

Enabled the default metrics in the Bitnami image for Zookeeper

See: https://hub.docker.com/r/bitnami/zookeeper/

Added Zookeeper

Config from: https://github.com/confluentinc/jmx-monitoring-stacks/blob/7.2-post/shared-assets/jmx-exporter/zookeeper.yml
See: https://www.confluent.io/blog/monitor-kafka-clusters-with-prometheus-g

Added Grafana

Dashboard from: https://github.com/confluentinc/jmx-monitoring-stacks
See: https://www.confluent.io/blog/monitor-kafka-clusters-with-prometheus-grafana-and-confluent/

Added Prometheus

Added `prometheus_jmx_exporter` as java-agent in the Kafka brokers

Switched from KRAFT to Zookeeper -- works :)

Added `danielqsj/kafka-exporter` -- does not work :/

Empty setup for Docker Compose as basis for the monitoring examples