当前位置：首页 > 科技 > 软件

九张图带你理解 Kafka 中高水位ＨＷ

来源：责编：时间：2024-07-03 10:09:50 199观看

导读大家好，我是君哥。Kafka 高水位（简称 HW）是 Kafka 中非常重要的一个概念，今天来聊一聊 HW。1 HW 简介HW 是 Kafka 中 Offset 的一个值，HW 作为一个边界，Offset 小于 HW 的消息被称为已提交消息，这部分消息可以被消费者进行拉

大家好，我是君哥。

Kafka 高水位（简称 HW）是 Kafka 中非常重要的一个概念，今天来聊一聊 HW。

1 HW 简介

HW 是 Kafka 中 Offset 的一个值，HW 作为一个边界，Offset 小于 HW 的消息被称为已提交消息，这部分消息可以被消费者进行拉取消费，大于等于 HW 的消息被称为未提交消息，不能被消费者拉取。如下图：

图片

Offset 小于 108 的消息可以被消费者消费，Offset 大于等于 108 的消息不能被消费者消费。

2 LEO 简介

Kafka 中跟 Offset 相关的还有一个重要概念叫 LEO（Log End Offset）。LEO 表示 Offset 中的最后一个位置，也就是新消息写入的第一个位置，这个位置还没有消息。比如下图中的 114 这个位置，新消息写入时会从这个位置开始存储。

图片

3 HW 更新机制

对于 Kafka 的一个分区来说，分区的所有副本都有 HW 和 LEO 这 2 个重要属性，不光是 Leader 副本。但是 Leader 副本的 HW 值被作为整个分区的 HW。

因此，分区每个副本所在的 Broker 都保存了自己的 HW 和 LEO 值，而 Leader 副本所在的 Broker 节点还保存了 Follower 副本的 HW 和 LEO。

注意：这里说的 Follower 必须跟 Leader 保持同步，一般用 2 个条件来判断：

Follower 在 ISR 集合中；
Follower 中 LEO 值落后于 Leader LEO 值的时间，不超过参数(replica.lag.time.max.ms)的值，默认 10s。

如下图，partition-test 这个分区有 3 个副本，Leader 和 Follower1、Follower2，Follower1 和 Follower2 所在的 Broker1 上保存了自己的 HW 和 LEO，而 Leader 所在的 Broker0 不仅保存了自己的 HW 和 LEO，还保存了 Follower1 跟 Follower2 的 HW 和 LEO。

图片

3.1 Follower 更新

Broker1 和 Broker2 作为分区的 Follower 副本，会从 Leader 拉取消息，写入本地磁盘，然后更新 LEO。更新成功 LEO 后，比较自己的 LEO 值跟 Leader 副本发送的 HW 值，取较小的作为自己的 HW。如下图：

图片

3.2 Leader 更新

从 3.1 中的图可以看到，Leader 收到 Follower 拉取消息请求后，会根据 Follower 副本发送的拉取请求中的 Offset 更新本地保存的 Follower 的 LEO。同时 leader 会更新自己的 HW = min LEO of｛Leader、Follower1、Follower2｝。

需要注意的是，Leader 是不能更新 Follower 的 HW 的。

下面看一下 Leader 副本收到生产者发送的消息时是怎样更新自己的 LEO 和 HW 的。如下图：

图片

4 一个示例

下面以 Leader 只有一个 Follower 的场景来说明 LEO 和 HW 的更新过程。

初始状态，Leader 所在的 Broker 节点保存的 Leader 的 LEO 和 HW 都是 0，保存的 Follower 的 LEO = 0。

图片

生产者发送一条消息后，Leader 节点更新 LEO = 1，此时 Leader 的 HW 是 0。Follower 还没有发起拉取请求，所以 Follower 的 LEO 任然是 0，Leader 的 HW 是 0。

图片

Follower 第一次拉取消息，发送给 Leader 的 Offset = 0，Leader 节点收到请求后，因为 Offset = 0，所以本地保存的 Follower LEO 不变。Leader 节点返回消息给 Follower，Follower 节点写入消息后更新自己的 LEO = 1。

图片

Follower 第二次拉取消息，发送给 Leader 的 Offset = 1，Leader 节点收到请求后，更新本地保存的 Follower LEO = 1，更新自己的 HW = 1 并返回给 Follower，Follower 收到 Leader 发送的 HW 后更新自己的 HW = 1。

图片

总结

高水位 HW 这个概念在 Kafka 中标记消息是否可以被消费者消费，这个概念跟 LEO 有着重要的关系。本文介绍了 LEO 和 HW 的更新机制，希望对你理解 HW 有所帮助。

本文链接：http://www.28at.com/showinfo-26-98413-0.html九张图带你理解 Kafka 中高水位ＨＷ

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： K8s 也有设计模式？你知道吗？

下一篇： Switch语句中使用String类型的实现原理

标签：

热门焦点

一加Ace2 Pro真机揭晓钛空灰配色质感拉满

终于，在经过了几波预热之后，一加Ace2 Pro的外观真机图在网上出现了。还是博主数码闲聊站曝光的，这次的外观设计还是延续了一加11的方案，只是细节上有了调整，例如新加入了钛空灰
直屏旗舰来了 iQOO 12和K70 Pro同台竞技

旗舰机基本上使用的都是双曲面屏幕，这就让很多喜欢直屏的爱好者在苦等一款直屏旗舰，这次，你们等到了。据博主数码闲聊站带来的最新爆料称，Redmi下代旗舰K70 Pro和iQOO 12两款手
6月iOS设备性能榜：M2稳居榜首 A系列只能等一手3nm来救

没有新品发布，自然iOS设备性能榜的上榜设备就没有什么更替，仅仅只有跑分变化而产生的排名变动，毕竟苹果新品的发布节奏就是这样的，一年下来也就几个移动端新品，不会像安卓厂商，一
太卷！Redmi MAX 100英寸电视便宜了：12999元买Redmi史上最大屏

8月5日消息，从小米商城了解到，Redmi MAX 100英寸巨屏电视日前迎来官方优惠，到手价12999元，比发布价便宜了7000元，在大屏电视市场开卷。据了解，Redmi MAX 100
8月总票房已突破10亿！《封神》第一：口碑已经成了

8月5日消息，据灯塔专业版数据，截至8月5日9时35分，8月总票房（含预售）已突破10亿。其中，《封神》以大比分的优势领先。根据官方消息，目前该片总票房已经超过14.
一文搞定Java NIO，以及各种奇葩流

大家好，我是哪吒。很多朋友问我，如何才能学好IO流，对各种流的概念，云里雾里的，不求甚解。用到的时候，现百度，功能虽然实现了，但是为什么用这个？不知道。更别说效率问题了~下次再遇到，
自律，给不了Keep自由！

来源 | 互联网品牌官作者 | 李大为编排 | 又耳审核 | 谷晓辉自律能不能给用户自由暂时不好说，但大概率不能给Keep自由。近日，全球最大的在线健身平台Keep正式登陆港交所，努力
中关村论坛11月25日开幕，15位诺奖级大咖将发表演讲

11月18日，记者从2022中关村论坛新闻发布会上获悉，中关村论坛将于11月25至30日在京举行。本届中关村论坛由科学技术部、国家发展改革委、工业和信息化部、国务
荣耀Magic4 至臻版首创智慧隐私通话强劲影音系统

2022年第一季度临近尾声，在该季度内，许多品牌陆续发布自己的最新产品，让大家从全新的角度来了解当今的手机技术。手机是电子设备中，更新迭代十分迅速的一款产品，基

九张图带你理解 Kafka 中高水位ＨＷ

1 HW 简介

2 LEO 简介

3 HW 更新机制

3.1 Follower 更新

3.2 Leader 更新

4 一个示例

总结

一加Ace2 Pro真机揭晓钛空灰配色质感拉满

直屏旗舰来了 iQOO 12和K70 Pro同台竞技

6月iOS设备性能榜：M2稳居榜首 A系列只能等一手3nm来救

太卷！Redmi MAX 100英寸电视便宜了：12999元买Redmi史上最大屏

8月总票房已突破10亿！《封神》第一：口碑已经成了

一文搞定Java NIO，以及各种奇葩流

自律，给不了Keep自由！

中关村论坛11月25日开幕，15位诺奖级大咖将发表演讲

荣耀Magic4 至臻版首创智慧隐私通话强劲影音系统

最新推荐

猜你喜欢

热门推荐

相关资讯

九张图带你理解 Kafka 中高水位 ＨＷ

1 HW 简介

2 LEO 简介

3 HW 更新机制

3.1 Follower 更新

3.2 Leader 更新

4 一个示例

总结

最新推荐

猜你喜欢

热门推荐

相关资讯

九张图带你理解 Kafka 中高水位ＨＷ