juplo.de Git - demos/kafka/training/blob - docker-compose.yml

   1 version: '3.2'
   2 services:
   3   zookeeper:
   4     image: confluentinc/cp-zookeeper:7.1.3
   5     environment:
   6       ZOOKEEPER_CLIENT_PORT: 2181
   7     ports:
   8       - 2181:2181
   9
  10   kafka-1:
  11     image: confluentinc/cp-kafka:7.1.3
  12     environment:
  13       KAFKA_BROKER_ID: 1
  14       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
  15       KAFKA_LISTENERS: DOCKER://:9092, LOCALHOST://:9081
  16       KAFKA_ADVERTISED_LISTENERS: DOCKER://kafka-1:9092, LOCALHOST://localhost:9081
  17       KAFKA_INTER_BROKER_LISTENER_NAME: DOCKER
  18       KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: DOCKER:PLAINTEXT, LOCALHOST:PLAINTEXT
  19       KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
  20       KAFKA_AUTO_CREATE_TOPICS_ENABLE: "false"
  21     ports:
  22       - 9081:9081
  23     depends_on:
  24       - zookeeper
  25
  26   kafka-2:
  27     image: confluentinc/cp-kafka:7.1.3
  28     environment:
  29       KAFKA_BROKER_ID: 2
  30       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
  31       KAFKA_LISTENERS: DOCKER://:9092, LOCALHOST://:9082
  32       KAFKA_ADVERTISED_LISTENERS: DOCKER://kafka-2:9092, LOCALHOST://localhost:9082
  33       KAFKA_INTER_BROKER_LISTENER_NAME: DOCKER
  34       KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: DOCKER:PLAINTEXT, LOCALHOST:PLAINTEXT
  35       KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
  36       KAFKA_AUTO_CREATE_TOPICS_ENABLE: "false"
  37     ports:
  38       - 9092:9082
  39       - 9082:9082
  40     networks:
  41       default:
  42         aliases:
  43           - kafka
  44     depends_on:
  45       - zookeeper
  46
  47   kafka-3:
  48     image: confluentinc/cp-kafka:7.1.3
  49     environment:
  50       KAFKA_BROKER_ID: 3
  51       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
  52       KAFKA_LISTENERS: DOCKER://:9092, LOCALHOST://:9083
  53       KAFKA_ADVERTISED_LISTENERS: DOCKER://kafka-3:9092, LOCALHOST://localhost:9083
  54       KAFKA_INTER_BROKER_LISTENER_NAME: DOCKER
  55       KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: DOCKER:PLAINTEXT, LOCALHOST:PLAINTEXT
  56       KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
  57       KAFKA_AUTO_CREATE_TOPICS_ENABLE: "false"
  58     ports:
  59       - 9083:9083
  60     depends_on:
  61       - zookeeper
  62
  63   mongo:
  64     image: mongo:4.4.13
  65     ports:
  66       - 27017:27017
  67     environment:
  68       MONGO_INITDB_ROOT_USERNAME: juplo
  69       MONGO_INITDB_ROOT_PASSWORD: training
  70
  71   express:
  72     image: mongo-express
  73     ports:
  74       - 8090:8081
  75     environment:
  76       ME_CONFIG_MONGODB_ADMINUSERNAME: juplo
  77       ME_CONFIG_MONGODB_ADMINPASSWORD: training
  78       ME_CONFIG_MONGODB_URL: mongodb://juplo:training@mongo:27017/
  79     depends_on:
  80       - mongo
  81
  82   setup:
  83     image: juplo/toolbox
  84     command: >
  85       bash -c "
  86         kafka-topics --bootstrap-server kafka:9092 --delete --if-exists --topic in
  87         kafka-topics --bootstrap-server kafka:9092 --delete --if-exists --topic out
  88         kafka-topics --bootstrap-server kafka:9092 --delete --if-exists --topic out.DLT
  89         kafka-topics --bootstrap-server kafka:9092 --create --topic in --partitions 2 --replication-factor 3 --config min.insync.replicas=2
  90         kafka-topics --bootstrap-server kafka:9092 --create --topic out --partitions 2 --replication-factor 3 --config min.insync.replicas=2
  91         kafka-topics --bootstrap-server kafka:9092 --create --topic out.DLT --partitions 2 --replication-factor 3 --config min.insync.replicas=2
  92         kafka-topics --bootstrap-server kafka:9092 --describe --topic in
  93         kafka-topics --bootstrap-server kafka:9092 --describe --topic out
  94         kafka-topics --bootstrap-server kafka:9092 --describe --topic out.DLT
  95       "
  96
  97   cli:
  98     image: juplo/toolbox
  99     command: sleep infinity
 100
 101   gateway:
 102     image: juplo/sumup-gateway:1.0-SNAPSHOT
 103     ports:
 104       - 8080:8080
 105     environment:
 106       server.port: 8080
 107       sumup.gateway.bootstrap-server: kafka:9092
 108       sumup.gateway.client-id: gateway
 109       sumup.gateway.topic: in
 110
 111   requests-1:
 112     image: juplo/sumup-requests-json:1.0-SNAPSHOT
 113     ports:
 114       - 8081:8080
 115     environment:
 116       server.port: 8080
 117       sumup.requests.bootstrap-server: kafka:9092
 118       sumup.requests.client-id: requests-1
 119
 120   requests-2:
 121     image: juplo/sumup-requests-json:1.0-SNAPSHOT
 122     ports:
 123       - 8082:8080
 124     environment:
 125       server.port: 8080
 126       sumup.requests.bootstrap-server: kafka:9092
 127       sumup.requests.client-id: requests-2
 128
 129   adder-1:
 130     image: juplo/sumup-adder-springified:1.0-SNAPSHOT
 131     ports:
 132       - 8091:8080
 133     environment:
 134       server.port: 8080
 135       spring.kafka.bootstrap-servers: kafka:9092
 136       spring.kafka.producer.bootstrap-servers: kafka:9092
 137       spring.kafak.client-id: adder-1
 138       spring.kafka.auto-commit-interval: 1s
 139       sumup.adder.throttle: 3ms
 140       spring.data.mongodb.uri: mongodb://juplo:training@mongo:27017
 141       spring.data.mongodb.database: juplo
 142       logging.level.org.apache.kafka.clients.consumer: INFO
 143
 144   adder-2:
 145     image: juplo/sumup-adder-springified:1.0-SNAPSHOT
 146     ports:
 147       - 8092:8080
 148     environment:
 149       server.port: 8080
 150       spring.kafka.bootstrap-servers: kafka:9092
 151       spring.kafka.producer.bootstrap-servers: kafka:9092
 152       spring.kafak.client-id: adder-2
 153       spring.kafka.auto-commit-interval: 1s
 154       sumup.adder.throttle: 3ms
 155       spring.data.mongodb.uri: mongodb://juplo:training@mongo:27017
 156       spring.data.mongodb.database: juplo
 157       logging.level.org.apache.kafka.clients.consumer: INFO
 158
 159   peter:
 160     image: juplo/toolbox
 161     command: >
 162       bash -c "
 163       while [[ true ]];
 164       do
 165         echo 666 | http -v gateway:8080/peter;
 166         sleep 1;
 167       done
 168       "
 169   klaus:
 170     image: juplo/toolbox
 171     command: >
 172       bash -c "
 173       while [[ true ]];
 174       do
 175         echo 666 | http -v gateway:8080/klaus;
 176         sleep 1;
 177       done
 178       "
 179
 180   dlt:
 181     image: juplo/toolbox
 182     tty: true
 183     command: kafkacat -C -b kafka:9092 -t out.DLT -f'p=%p|o=%o|%k=%s\n' -o 0 -q