Kafka在Java项目中的消息传递最佳实践

Kafka简介：高效且可靠的分布式消息系统

Kafka，由LinkedIn公司开发并于2011年开源，现已成为全球广泛使用的分布式消息传递系统。它的设计理念结合了消息持久化、高吞吐量和可扩展性，这使得Kafka在处理大规模数据流方面表现出色。作为一款分布式流平台，Kafka不仅仅是一个消息队列系统，更是一种可靠的数据传输基础设施。

高可用是很多分布式系统中必备的特征之一，Kafka 日志的高可用是通过基于 leader-follower 的多副本同步实现的，每个分区下有多个副本，其中只有一个是 leader 副本，提供发送和消费消息，其余都是 follower 副本，不断地发送 fetch 请求给 leader 副本以同步消息，如果 leader 在整个集群运行过程中不发生故障，follower 副本不会起到任何作用，问题就在于任何系统都不能保证其稳定运行，当 leader 副本所在的 broker 崩溃之后，其中一个 follower 副本就会成为该分区下新的 leader 副本。

简介

canal [k'nael]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具，用于管理Apache Kafka集群的工具，用户可以在Web界面执行一些简单的Kafka集群管理操作

Kafka Manager支持以下内容：

• 管理多个集群
• 轻松检查群集状态（主题，使用者，偏移量，代理，副本分发，分区分发）
• 运行首选副本选择
• 生成带有选项的分区分配，以选择要使用的代理
• 运行分区的重新分配（基于生成的分配）

推荐学习

整体流程大概如下：

服务器准备

今天，我们从最简单的日志架构开始，介绍各种不同场景下的日志架构，并分析其在不同场景下的特点或问题。

- 1 -

最简单的日志架构

有童鞋请教，log.retention.hour设置72小时(3天)，但现在6天都已经过去，却未见kafka对日志进行清理。

告知童鞋检查3个地方，segment.bytes 设置值，分片目录大小，分片目录里面是否只有单个日志文件。

反馈为：segment.bytes 为1G，分片目录大小为700M+，分片目录中只有单个日志文件。

Kafka基础架构

1. 1. Producer：消息生产者，就是向 Kafka broker 发消息的客户端。