juplo.de Git - demos/kafka/training/blob - README.sh

   1 #!/bin/bash
   2
   3 if [ "$1" = "cleanup" ]
   4 then
   5   docker compose -f docker/docker-compose.yml down -t0 -v --remove-orphans
   6   exit
   7 fi
   8
   9 docker compose -f docker/docker-compose.yml up --remove-orphans setup || exit 1
  10 docker compose -f docker/docker-compose.yml ps
  11 sleep 1
  12 docker compose -f docker/docker-compose.yml logs setup
  13
  14 echo
  15 echo "Erzeuge S3-Bucket \"juplo\""
  16 echo
  17 docker compose -f docker/docker-compose.yml exec minio mc mb /data/juplo
  18
  19 echo
  20 echo "Validität der Konfiguration des S3-Sink-Connector prüfen"
  21 echo
  22 cat s3-sink-connector.json http -v put :8083/connector-plugins/io.confluent.connect.s3.S3SinkConnector/config/validate
  23
  24 echo
  25 echo "Simuliere einen Producer mit dem Confluent Datagen Connector"
  26 echo
  27 cat datagen-source-connector.json | http -v put :8083/connectors/datagen-source/config
  28
  29 echo
  30 echo "Lese probeweise 5 Nachrichten aus den erzeugten Daten ein"
  31 echo
  32 docker compose -f docker/docker-compose.yml exec cli \
  33   kafka-console-consumer \
  34     --bootstrap-server kafka:9092 \
  35     --topic test \
  36     --property schema.registry.url=http://schema-registry:8085 \
  37     --max-messages 5
  38
  39 echo
  40 echo "Erzeuge einen Confluent S3 Sink Connector"
  41 echo
  42 cat s3-sink-connector.json | http -v put :8083/connectors/s3-sink/config
  43
  44 echo
  45 echo "Schlafe für 10 Sekunden..."
  46 echo
  47 sleep 10
  48
  49 echo
  50 echo "Prüfe den Status des Confluent S3 Sink Connector"
  51 echo
  52 http -v :8083/connectors/s3-sink/status
  53
  54 echo
  55 echo "Entferne datagen-source und s3-sink"
  56 echo
  57 http -v delete :8083/connectors/datagen-source
  58 http -v delete :8083/connectors/s3-sink
  59
  60 echo
  61 echo "Liste die im S3-Bucket erzeugten Dateien auf"
  62 echo
  63 docker compose -f docker/docker-compose.yml exec minio mc find /data/juplo