kafka架构

producer -> kafka cluster(broker>topic>partition) -> consumer -> zookeeper

kafka压测

kafka-producer-perf-test.sh

kafka-consumer-perf-test.sh

kafka日志保存位置及消息保存时间

/tpdata/client/Kafka/kafka/config/server.properties

log.dirs = /srv/BigData/kafka/data1/kafka-logs

log.retention.hours = 168

offsets.commit.required.acks = -1

服务器台数

kafka监控

topic(分区,副本,topic输入输出流量,topic每秒输入的消息条数)

磁盘使用率

分区分配策略

Range分配策略:此策略将分区按照范围分配给消费者,旨在尽可能平均地分配分区给消费者,以确保负载均衡

RoundRobin分配策略:此策略以轮询的方式分配置分区给消费者

如何看数据积压问题?

kafka-consumer-groups.sh

如何处理数据积压问题?

增加消费者数量

调整分区数量

参数优化

使用压缩

扩大kafka集群规模

事务(略)

数据重复问题原因?

生产端:消息发送成功但响应失败

消费端:偏移量提交失败

如何防止数据重复?

幂等性

消息去重

偏移量管理

使用事务

为什么能做到高并发?

顺序写,分布式

消费策略

从开始位置消费

从最新位置消费

指定位置消费