1 背景

在电商系统中，我们现在都部署的是一套微服务的系统，每个服务会有多个节点，服务之间会有相互之间的调用，如果我们把每个日志的服务输出到自己的项目里面，根本没有办法进行整体的分析。再加上微服务负载均衡，日志在哪个节点上输出都无法定位，这给我们排查问题带来了很多的难度，因此一套将分散日志集中收集的系统，显得异常重要了。今天我们就讲下日志收集系统的架构和设计。

一、ELK日志系统

文章来源：
https://mp.weixin.qq.com/s/2UkNgG_murWOpVsJtz3UFg

原文作者： Monica2333

对于日志或指标（metric）类时序性强

在企业IT运维中，日志分析是故障排查的核心环节，但传统方式依赖人工经验，效率低、耗时长。AIOps通过引入机器学习技术，可实现日志的自动化分析与异常检测，显著提升运维效率。以下是基于日志分析的AIOps落地方案：

---

### **一、痛点分析**

1. **日志规模庞大**：企业每天产生TB级日志，人工分析耗时耗力

在当今复杂的 IT 架构中，运维工作已从传统的人工操作逐渐转变为自动化、智能化。一个智能运维系统（AIOps 平台）不仅能提升运维效率，还能降低风险，减少人为失误。本文将结合实际场景，讲解如何从零设计并落地一个智能运维系统，包含完整的步骤与实施过程。

前阵子双十一跟风买了阿里云 99 元的 2 核 2 G 的小水管，该说不说，确实便宜，但就是买来不知道干啥，本身我已经有了一个比较高配置的服务器，这个 2G 的小水管 docker 装点啥都容易崩溃，本来想用 skywalking + es 搭一个分布式链路追踪平台，这样方便做自己项目的监控。

我发现很多程序员都不打日志，有的是 不想

关注

前言

通过前面的知识，我们已经了解到了ELk到底是什么、以及他们的工作原理、ES集群架构、专有名词的一些解释。在进入下一阶段ES实操学习环节前，那么今天我将以图解的方式将ELK重点以及ES的相关逻辑进行一个总结；

================================================================================================

简介

在Kubernetes内搭建ES集群时，需要使用的技术如下：
1. k8s集群：需要先搭建一个k8s集群，用于部署和管理ES集群中的各种资源。
2. StatefulSet控制器：使用StatefulSet控制器来管理ES集群中的各个节点，它可以保证每个节点的数据不同，同时也可以自动重建被误删除的节点。