juplo.de Git - demos/kafka/training/blob - README.sh

   1 #!/bin/bash
   2
   3 if [ "$1" = "cleanup" ]
   4 then
   5   docker-compose -f docker/docker-compose.yml down -t0 -v --remove-orphans
   6   exit
   7 fi
   8
   9 docker-compose -f docker/docker-compose.yml up --remove-orphans setup || exit 1
  10 docker-compose -f docker/docker-compose.yml ps
  11
  12 docker-compose -f docker/docker-compose.yml up -t0 -d cli
  13 sleep 1
  14 docker-compose -f docker/docker-compose.yml logs setup
  15
  16 # --throughput -1 : Kein Throttling zur "künstlichen Kappung" des maximalen Durchsatzes
  17 # --record-size   : Größe der einzelnen Nachricht in Bytes
  18 # batch.size      : Größe der Batches in Bytes
  19 # --num-records   : Variierende passend ausprobierte Werte, damit für die unterschiedlichen
  20 #                   Batch-Size ungefähr gleich viele Zwischen-Schätzungen auflaufen
  21
  22 docker-compose -f docker/docker-compose.yml exec -T cli bash << EOF
  23 echo "------------------- batch.size = 0 bytes"
  24 kafka-producer-perf-test --topic test --record-size 1024 --num-records  100000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=0
  25 echo
  26 echo "------------------- batch.size = 8192 bytes"
  27 kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=8192
  28 echo
  29 echo "------------------- batch.size = 16384 bytes"
  30 kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=16384
  31 echo
  32 echo "------------------- batch.size = 32768 bytes"
  33 kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=32768
  34 echo
  35 echo "------------------- batch.size = 524288 bytes (0.5 MB)"
  36 kafka-producer-perf-test --topic test --record-size 1024 --num-records 5000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=524288
  37 EOF
  38
  39 # Default-Batchgröße: 16384 bytes = 16 kibibytes = ca. 16 kilobytes