kafka那些坑

千万别用高版本的kafka client 去连低版本的kafka server。
否则回报一系列的(n)io异常,比如下面这个异常

  java.nio.BufferUnderflowException

不丢消息:producer有个ack参数,有三个值,分别代表:不在乎是否写入成功、写入leader成功、写入leader和所有reclpica成功;要求非常可靠的话可以牺牲性能设置成最后一种。
不重复发送:正常发都不会重复,只可能丢,看你这边怎么容错重发了,参考上一条。
消息只读一次:同样,正常读不会重复,如果在上一次读的过程中发生了异常,消息可能被消费,但是offset没有及时commit;这本身是两步,存在中间crash的风险

作者

太阳当空赵先生

发布于

2016-12-12

更新于

2022-02-22

许可协议

评论