作者：京东零售 张继

1，概念

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的

文章概览

一、背景介绍

在很多业务场景下，我们都需要通过日志的采集来分析系统运行情况以及用户使用情况一般情况下我们可以通过Kafka来进行日志的采集进行日志分类汇总，那么下面我们就来看看如何在SpringBoot应用程序中整合Kafka来进行日志采集。

添加Kafka依赖

Kafka在Java项目中的消息传递最佳实践

Kafka简介：高效且可靠的分布式消息系统

Kafka，由LinkedIn公司开发并于2011年开源，现已成为全球广泛使用的分布式消息传递系统。它的设计理念结合了消息持久化、高吞吐量和可扩展性，这使得Kafka在处理大规模数据流方面表现出色。作为一款分布式流平台，Kafka不仅仅是一个消息队列系统，更是一种可靠的数据传输基础设施。

高可用是很多分布式系统中必备的特征之一，Kafka 日志的高可用是通过基于 leader-follower 的多副本同步实现的，每个分区下有多个副本，其中只有一个是 leader 副本，提供发送和消费消息，其余都是 follower 副本，不断地发送 fetch 请求给 leader 副本以同步消息，如果 leader 在整个集群运行过程中不发生故障，follower 副本不会起到任何作用，问题就在于任何系统都不能保证其稳定运行，当 leader 副本所在的 broker 崩溃之后，其中一个 follower 副本就会成为该分区下新的 leader 副本。

简介

canal [k'nael]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

Kafka Manager是 Yahoo 推出的 Kafka 开源管理工具，用于管理Apache Kafka集群的工具，用户可以在Web界面执行一些简单的Kafka集群管理操作

Kafka Manager支持以下内容：

• 管理多个集群
• 轻松检查群集状态（主题，使用者，偏移量，代理，副本分发，分区分发）
• 运行首选副本选择
• 生成带有选项的分区分配，以选择要使用的代理
• 运行分区的重新分配（基于生成的分配）

推荐学习

整体流程大概如下：

服务器准备