From af8ee013aeeaee41117174e9e02858112621556b Mon Sep 17 00:00:00 2001 From: Kai Moritz Date: Sat, 3 Sep 2022 12:37:22 +0200 Subject: [PATCH] =?utf8?q?R=C3=BCckbau=20des=20expliziten=20regelm=C3=A4?= =?utf8?q?=C3=9Figen=20Commits=20durch=20den=20`EndlessConsumer`?= MIME-Version: 1.0 Content-Type: text/plain; charset=utf8 Content-Transfer-Encoding: 8bit * Hier wurde die Deaktivierung der expliziten regelmäßigen Commits durch den `EndlessConsumer` zurückgebaut, um die einzelnen Schritte der Übung leichter nachvollziehbar zu machen. * Die expliziten regelmäßigen Commits sind nicht notwendig. * Sie sind "nur" eine (sehr sinnvolle) Optimierung, da ansonsten nur während eines Rebalances ein Commit durchgeführt wird. * D.h., wenn ein Consumer, der sehr lange ohne Rebalance läuft und dann abstürzt, gehen die _gesamten_ Ergebnisse dieses Consumers verloren und die zugehörigen Nachrichten werden komplett neu verarbeitet. --- .../kafka/ApplicationRebalanceListener.java | 30 ------------------- 1 file changed, 30 deletions(-) diff --git a/src/main/java/de/juplo/kafka/ApplicationRebalanceListener.java b/src/main/java/de/juplo/kafka/ApplicationRebalanceListener.java index 3653197..ca6897c 100644 --- a/src/main/java/de/juplo/kafka/ApplicationRebalanceListener.java +++ b/src/main/java/de/juplo/kafka/ApplicationRebalanceListener.java @@ -86,34 +86,4 @@ public class ApplicationRebalanceListener implements RebalanceListener stateRepository.save(new StateDocument(partition, state, results, offset)); }); } - - - @Override - public void beforeNextPoll() - { - partitions - .stream() - .forEach(partition -> - { - log.info("{} - persisting state & offset for partition: {}", id, partition); - Map state = recordHandler.getState(partition).getState(); - Long offset = consumer.position(new TopicPartition(topic, partition)); - log.info( - "{} - offset of next unseen message for partition {} is {}", - id, - partition, - offset); - for (String user : state.keySet()) - { - log.info( - "{} - Saved state for partition={}|user={}: {}", - id, - partition, - user, - state.get(user)); - } - Map> results = adderResults.getState(partition); - stateRepository.save(new StateDocument(partition, state, results, offset)); - }); - } } -- 2.20.1