Kafka - Comportement de compaction du journal

Question

J'essaie de comprendre le compactage des billes.

Pour un sujet, mes paramètres sont

min.cleanable.dirty.ratio   0.005
segment.ms  5000
cleanup.policy  compact

J'ai produit les messages suivants sur le sujet

a   0
b   1
c   1
f   4
r   0
s   1
u   1
f   5
h   1

J'essaie de consommer via le consommateur console kafka (même après avoir attendu 5 minutes et créé un nouveau consommateur console) - je vois toujours les 2 occurrences de f

a   0
b   1
c   1
f   4
r   0
s   1
u   1
f   5
h   1

Ne devrait-il pas être supprimé ?

Answer 1

Seuls les messages qui ne sont pas dans le segment actif peuvent être considérés dans le processus de compactage. Même si vous définissez segment.ms= 5000 le segment de journal roulant peut être créé lorsque de nouveaux messages de partition apparaissent.

Si vous envoyez tous les messages en même temps tous les messages seront envoyés au même segment et ce segment sera actif. Il devient valide pour la compaction si les nouveaux messages arrivent après 5000ms. Log plus propre après log.retention.check.interval.ms va essayer de compacter les messages avec la même clé.