Übertragung der Experimente mit kafka-producer-perftest aus Übung `batching`

[demos/kafka/training] / README.sh

diff --git a/README.sh b/README.sh
index c839f35..7014d54 100755 (executable)
--- a/README.sh
+++ b/README.sh
@@ -2,33 +2,38 @@
 
 if [ "$1" = "cleanup" ]
 then
-  docker-compose down -t0 -v --remove-orphans
+  docker-compose -f docker/docker-compose.yml down -t0 -v --remove-orphans
   exit
 fi
 
-docker-compose up -d kafka-1 kafka-2 kafka-3
-docker-compose ps
-echo "Waiting for the Kafka-Cluster to become ready..."
-docker-compose run --rm cli cub kafka-ready -b kafka:9092 3 60 > /dev/null 2>&1 || exit 1
+docker-compose -f docker/docker-compose.yml up --remove-orphans setup || exit 1
+docker-compose -f docker/docker-compose.yml ps
 
-docker-compose up -t0 -d cli
+docker-compose -f docker/docker-compose.yml up -t0 -d cli
 sleep 1
-docker-compose logs setup
+docker-compose -f docker/docker-compose.yml logs setup
 
+# --throughput -1 : Kein Throttling zur "künstlichen Kappung" des maximalen Durchsatzes
+# --record-size   : Größe der einzelnen Nachricht in Bytes
+# batch.size      : Größe der Batches in Bytes
+# --num-records   : Variierende passend ausprobierte Werte, damit für die unterschiedlichen
+#                   Batch-Size ungefähr gleich viele Zwischen-Schätzungen auflaufen
+
+docker-compose -f docker/docker-compose.yml exec -T cli bash << EOF
+echo "------------------- batch.size = 0 bytes"
+kafka-producer-perf-test --topic test --record-size 1024 --num-records  100000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=0
 echo
-echo "Hilfe-Ausgabe von kafkacat"
+echo "------------------- batch.size = 8192 bytes"
+kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=8192
 echo
-docker-compose exec -T cli kafkacat -h
+echo "------------------- batch.size = 16384 bytes"
+kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=16384
 echo
-echo "Nachrichten schreiben mit kafkacat"
+echo "------------------- batch.size = 32768 bytes"
+kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=32768
 echo
-docker-compose exec -T cli kafkacat -P -b kafka:9092 -t test << EOF
-Hallo Welt!
-Nachricht #1
-Nachricht #2
-Nachricht #3
+echo "------------------- batch.size = 524288 bytes (0.5 MB)"
+kafka-producer-perf-test --topic test --record-size 1024 --num-records 5000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=524288
 EOF
-echo
-echo "Nachrichten lesen mit kafkacat"
-echo
-docker-compose exec cli kafkacat -C -b kafka:9092 -t test -o beginning -e
+
+# Default-Batchgröße: 16384 bytes = 16 kibibytes = ca. 16 kilobytes