kafka

Список топиков Список всех Kafka топиков в кластере kafka-topics.sh --bootstrap-server kafka:9092 --list #kafka Создать топик Создать топик с заданными партициями и репликацией kafka-topics.sh --bootstrap-server kafka:9092 --create --topic <name> --partitions 3 --replication-factor 2 #kafka Описание топика Количество партиций, репликация, лидеры и ISR kafka-topics.sh --bootstrap-server kafka:9092 --describe --topic <name> #kafka Удалить топик Безвозвратно удалить Kafka топик kafka-topics.sh --bootstrap-server kafka:9092 --delete --topic <name> #kafka Читать топик с начала Прочитать все сообщения топика начиная с offset 0 kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic <name> --from-beginning #kafka#debug Отправить сообщения Отправить сообщения в топик в интерактивном режиме из stdin kafka-console-producer.sh --bootstrap-server kafka:9092 --topic <name> #kafka#debug Список consumer groups Все consumer groups kafka-consumer-groups.sh --bootstrap-server kafka:9092 --list #kafka Lag consumer group Lag по каждой партиции для consumer group kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group <group> #kafka#monitoring#debug Сброс offset consumer group Сбросить consumer group на начало топика kafka-consumer-groups.sh --bootstrap-server kafka:9092 --group <group> --topic <topic> --reset-offsets --to-earliest --execute #kafka Изменить количество партиций Увеличить (только) количество партиций топика kafka-topics.sh --bootstrap-server kafka:9092 --alter --topic <name> --partitions 6 #kafka Offsets топика Самые ранние и последние offsets по партициям kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kafka:9092 --topic <name> #kafka#debug Создать топик Создать новый топик Kafka с 6 партициями и RF=3 kafka-topics.sh --bootstrap-server kafka:9092 --create --topic my-topic --partitions 6 --replication-factor 3 #kafka Отставание consumer group Отставание на каждой партиции для consumer group kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group my-group #kafka#monitoring Сбросить offset consumer group Сбросить offsets на начало топика kafka-consumer-groups.sh --bootstrap-server kafka:9092 --group my-group --reset-offsets --to-earliest --topic my-topic --execute #kafka Отправить сообщения из stdin Отправлять сообщения key:value интерактивно kafka-console-producer.sh --bootstrap-server kafka:9092 --topic my-topic --property 'key.separator=:' --property 'parse.key=true' #kafka Читать с начала топика Прочитать первые 10 сообщений из топика kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic my-topic --from-beginning --max-messages 10 #kafka Изменить количество партиций Увеличить количество партиций (уменьшить нельзя) kafka-topics.sh --bootstrap-server kafka:9092 --alter --topic my-topic --partitions 12 #kafka Конфигурация топика Все переопределённые значения конфигурации топика kafka-configs.sh --bootstrap-server kafka:9092 --describe --entity-type topics --entity-name my-topic #kafka Задать retention топика Установить 7-дневное хранение для топика kafka-configs.sh --bootstrap-server kafka:9092 --alter --entity-type topics --entity-name my-topic --add-config retention.ms=604800000 #kafka Метаданные брокера Список всех API версий поддерживаемых брокером kafka-broker-api-versions.sh --bootstrap-server kafka:9092 #kafka#debug