From: Kai Moritz Date: Sat, 3 Sep 2022 10:37:22 +0000 (+0200) Subject: Rückbau des expliziten regelmäßigen Commits durch den `EndlessConsumer` X-Git-Url: http://juplo.de/gitweb/?a=commitdiff_plain;h=af8ee013aeeaee41117174e9e02858112621556b;p=demos%2Fkafka%2Ftraining Rückbau des expliziten regelmäßigen Commits durch den `EndlessConsumer` * Hier wurde die Deaktivierung der expliziten regelmäßigen Commits durch den `EndlessConsumer` zurückgebaut, um die einzelnen Schritte der Übung leichter nachvollziehbar zu machen. * Die expliziten regelmäßigen Commits sind nicht notwendig. * Sie sind "nur" eine (sehr sinnvolle) Optimierung, da ansonsten nur während eines Rebalances ein Commit durchgeführt wird. * D.h., wenn ein Consumer, der sehr lange ohne Rebalance läuft und dann abstürzt, gehen die _gesamten_ Ergebnisse dieses Consumers verloren und die zugehörigen Nachrichten werden komplett neu verarbeitet. --- diff --git a/src/main/java/de/juplo/kafka/ApplicationRebalanceListener.java b/src/main/java/de/juplo/kafka/ApplicationRebalanceListener.java index 3653197..ca6897c 100644 --- a/src/main/java/de/juplo/kafka/ApplicationRebalanceListener.java +++ b/src/main/java/de/juplo/kafka/ApplicationRebalanceListener.java @@ -86,34 +86,4 @@ public class ApplicationRebalanceListener implements RebalanceListener stateRepository.save(new StateDocument(partition, state, results, offset)); }); } - - - @Override - public void beforeNextPoll() - { - partitions - .stream() - .forEach(partition -> - { - log.info("{} - persisting state & offset for partition: {}", id, partition); - Map state = recordHandler.getState(partition).getState(); - Long offset = consumer.position(new TopicPartition(topic, partition)); - log.info( - "{} - offset of next unseen message for partition {} is {}", - id, - partition, - offset); - for (String user : state.keySet()) - { - log.info( - "{} - Saved state for partition={}|user={}: {}", - id, - partition, - user, - state.get(user)); - } - Map> results = adderResults.getState(partition); - stateRepository.save(new StateDocument(partition, state, results, offset)); - }); - } }