X-Git-Url: http://juplo.de/gitweb/?a=blobdiff_plain;f=README.sh;h=56d1990b607d7d0a9c4f4a2e454de9239a9f0339;hb=dec8425c67cc2662e06f3a386e48bef9781f440e;hp=c839f3574d3475cb158192e1ba41c754edfa238b;hpb=c162aff6e4ba0dbc807ad6a0af3b21a5ba9f1cbe;p=demos%2Fkafka%2Ftraining diff --git a/README.sh b/README.sh index c839f35..56d1990 100755 --- a/README.sh +++ b/README.sh @@ -2,33 +2,40 @@ if [ "$1" = "cleanup" ] then - docker-compose down -t0 -v --remove-orphans + docker-compose -f docker/docker-compose.yml down -t0 -v --remove-orphans exit fi -docker-compose up -d kafka-1 kafka-2 kafka-3 -docker-compose ps +docker-compose -f docker/docker-compose.yml up -d --remove-orphans kafka-1 kafka-2 kafka-3 +docker-compose -f docker/docker-compose.yml ps echo "Waiting for the Kafka-Cluster to become ready..." -docker-compose run --rm cli cub kafka-ready -b kafka:9092 3 60 > /dev/null 2>&1 || exit 1 +docker-compose -f docker/docker-compose.yml run --rm cli cub kafka-ready -b kafka:9092 3 60 > /dev/null 2>&1 || exit 1 -docker-compose up -t0 -d cli +docker-compose -f docker/docker-compose.yml up -t0 -d cli sleep 1 -docker-compose logs setup +docker-compose -f docker/docker-compose.yml logs setup +# --throughput -1 : Kein Throttling zur "künstlichen Kappung" des maximalen Durchsatzes +# --record-size : Größe der einzelnen Nachricht in Bytes +# batch.size : Größe der Batches in Bytes +# --num-records : Variierende passend ausprobierte Werte, damit für die unterschiedlichen +# Batch-Size ungefähr gleich viele Zwischen-Schätzungen auflaufen + +docker-compose -f docker/docker-compose.yml exec -T cli bash << EOF +echo "------------------- batch.size = 0 bytes" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=0 echo -echo "Hilfe-Ausgabe von kafkacat" +echo "------------------- batch.size = 8192 bytes" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=8192 echo -docker-compose exec -T cli kafkacat -h +echo "------------------- batch.size = 16384 bytes" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=16384 echo -echo "Nachrichten schreiben mit kafkacat" +echo "------------------- batch.size = 32768 bytes" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 1000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=32768 echo -docker-compose exec -T cli kafkacat -P -b kafka:9092 -t test << EOF -Hallo Welt! -Nachricht #1 -Nachricht #2 -Nachricht #3 +echo "------------------- batch.size = 524288 bytes (0.5 MB)" +kafka-producer-perf-test --topic test --record-size 1024 --num-records 5000000 --throughput -1 --producer-props bootstrap.servers=kafka:9092 batch.size=524288 EOF -echo -echo "Nachrichten lesen mit kafkacat" -echo -docker-compose exec cli kafkacat -C -b kafka:9092 -t test -o beginning -e + +# Default-Batchgröße: 16384 bytes = 16 kibibytes = ca. 16 kilobytes