背景说明

在此之前日志收集方式采用的logstash安装在各个业务服务器上收集日志直接推到ES的方式（如下图），此模式存在几个弊端：

1、logstash解析消息格式并调用es接口，消耗资源比较多，直接表现为高峰时期CPU飙升至60%，内存占用25%；

2、logstash直接调用ES进行存储，完全依赖ES服务的存储处理速度，如果ES处理太慢或者宕机，可能导致业务服务因资源耗用处理缓慢，甚至出现宕机等雪崩状况；

• 1 Kafka监控

在上一篇文章中我实现了一个支持Debug、Info、Error等多个级别的日志库，并将日志写到了磁盘文件中，代码比较简单，适合练手。有兴趣的可以通过这个链接前往：
https://github.com/bosima/ylog/releases/tag/v1.0.2

工程实践中，我们往往还需要对日志进行采集，将日志归集到一起，然后用于各种处理分析，比如生产环境上的错误分析、异常告警等等。在日志消息系统领域，Kafka久负盛名，这篇文章就以将日志发送到Kafka来实现日志的采集；同时考虑到日志分析时对结构化数据的需求，这篇文章还会提供一种输出Json格式日志的方法。

上次的 Kafka 重启失败事件，对为什么重启失败的原因似乎并没有解释清楚，那么我就在这里按照我对 Kafka 的认识，从源码和日志文件结构去尝试寻找原因。

从源码中定位到问题的根源

首先把导致 Kafka 进程退出的异常栈贴出来：

注：以下源码基于 kafka 0.11.0.2 版本。

我们直接从 index 文件损坏警告日志的位置开始：

Kafka 作为一个高吞吐的消息中间件和传统的消息中间件一个很大的不同点就在于它的消息实际上是以日志的方式默认保存在/tmp/kafka-logs文件夹中的。

大家好，我是mikechen。

Kafka是消息中间件的核心，也是大型架构和高并发的必备中间件，本篇我就全面来详解Kafka@mikechen

私有协议

编写目的

本文档用于描述边缘计算单元（以下简称边缘盒）与上位机配置软件（以下简称上位机）之间进行的数据交互通信协议。

通信方式

自动驾驶初创公司 Momenta 今日宣布获得 B 轮 4600 万美元投资，本轮由蔚来资本领投，戴姆勒集团（梅赛德斯-奔驰母公司）、顺为资本、创新工场和九合创投跟投。2016 年，Momenta 曾获得来自蓝湖资本、创新工场和真格基金的500万美元 A 轮融资。

CEO 曹旭东表示：融资将用于三方面：1. 加强人工智能核心能力，包括大数据、大计算和优秀 AI 人才；2. 产品化基于视觉的环境感知和高精地图技术；3. 研发高频刚需场景的 L4 无人驾驶技术。

亿欧汽车7月25日消息，今天早间，自动驾驶初创公司Momenta宣布获得B轮4600万美元投资。该轮融资由蔚来资本领投，戴姆勒集团（梅赛德斯-奔驰母公司）、顺为资本、创新工场和九合创投跟投。在此前的2016年，Momenta曾获得来自蓝湖资本领投，创新工场和真格基金跟投的500万美元A轮融资。2017年初，该公司又获得了获得顺为资本领投的A1轮融资 。

Momenta CEO曹旭东表示：“融资将用于三方面：1. 加强人工智能核心能力，包括大数据、大计算和优秀AI人才；2. 产品化基于视觉的环境感知和高精地图技术；3. 研发高频刚需场景的L4无人驾驶技术。