From 1019b10f171e25668421895b7ec7e717346f0ff7 Mon Sep 17 00:00:00 2001 From: Kai Moritz Date: Wed, 14 Jun 2023 20:59:02 +0200 Subject: [PATCH] =?utf8?q?=C3=9Cbertragung=20der=20Experimente=20mit=20kaf?= =?utf8?q?ka-producer-perftest=20aus=20=C3=9Cbung=20`batching`?= MIME-Version: 1.0 Content-Type: text/plain; charset=utf8 Content-Transfer-Encoding: 8bit --- README.sh | 31 +++++++++++++++++++------------ 1 file changed, 19 insertions(+), 12 deletions(-) diff --git a/README.sh b/README.sh index 7d6406d..7014d54 100755 --- a/README.sh +++ b/README.sh @@ -13,20 +13,27 @@ docker-compose -f docker/docker-compose.yml up -t0 -d cli sleep 1 docker-compose -f docker/docker-compose.yml logs setup +# --throughput -1 : Kein Throttling zur "künstlichen Kappung" des maximalen Durchsatzes +# --record-size : Größe der einzelnen Nachricht in Bytes +# batch.size : Größe der Batches in Bytes +# --num-records : Variierende passend ausprobierte Werte, damit für die unterschiedlichen +# Batch-Size ungefähr gleich viele Zwischen-Schätzungen auflaufen + +docker-compose -f docker/docker-compose.yml exec -T cli bash << EOF +echo "------------------- batch.size = 0 bytes" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=0 echo -echo "Hilfe-Ausgabe von kafkacat" +echo "------------------- batch.size = 8192 bytes" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=8192 echo -docker-compose -f docker/docker-compose.yml exec -T cli kafkacat -h +echo "------------------- batch.size = 16384 bytes" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=16384 echo -echo "Nachrichten schreiben mit kafkacat" +echo "------------------- batch.size = 32768 bytes" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=32768 echo -docker-compose -f docker/docker-compose.yml exec -T cli kafkacat -P -b kafka:9092 -t test << EOF -Hallo Welt! -Nachricht #1 -Nachricht #2 -Nachricht #3 +echo "------------------- batch.size = 524288 bytes (0.5 MB)" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 5000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=524288 EOF -echo -echo "Nachrichten lesen mit kafkacat" -echo -docker-compose -f docker/docker-compose.yml exec cli kafkacat -C -b kafka:9092 -t test -o beginning -e + +# Default-Batchgröße: 16384 bytes = 16 kibibytes = ca. 16 kilobytes -- 2.20.1