问题描述
cp-kafka 4.0.0 集群默认单条消息上限为 1M(message.max.bytes 默认值 1048576),confluent-kafka-go 客户端若未调整对应配置,发布超过 1M 的消息会触发两类报错:
- 客户端:Local: Message size too large(本地检测超上限);
- 集群:Broker: Message size too large(Broker 拒绝接收)。
临时解决方案:客户端与Kafka集群配置对齐
修改发布端的 message.max.bytes 参数,同时同步调整消费端的 fetch.message.max.bytes 参数,避免后续消费时因消息大小超限导致接收失败。示例代码如下: