SpringBoot整合ELK Stack日志全栈指南源码

# SpringBoot + ELK Stack 日志管理系统 这是一个完整的SpringBoot与ELK Stack集成的演示项目，展示了如何构建企业级的日志管理解决方案。 ## 项目特性 ### 核心功能 - ✅ SpringBoot应用集成Logback JSON日志输出 - ✅ 分布式追踪ID自动生成和传递 - ✅ 业务日志AOP切面增强 - ✅ 敏感信息脱敏处理 - ✅ 完整的ELK Stack部署配置 - ✅ 订单业务场景演示 - ✅ 日志测试工具 ### ELK组件 - **Elasticsearch 7.14.0**: 日志存储和搜索引擎 - **Logstash 7.14.0**: 日志处理管道 - **Kibana 7.14.0**: 数据可视化平台 - **Filebeat 7.14.0**: 轻量级日志收集器 ## 快速开始 ### 1. 启动ELK Stack ```bash # 启动所有ELK组件 docker-compose up -d # 查看服务状态 docker-compose ps # 查看日志 docker-compose logs -f ``` ### 2. 启动SpringBoot应用 ```bash # 编译项目 mvn clean compile # 启动应用 mvn spring-boot:run ``` ### 3. 访问服务 #### 应用接口 - **应用首页**: http://localhost:8080 - **健康检查**: http://localhost:8080/actuator/health - **订单API**: http://localhost:8080/api/orders #### ELK服务 - **Kibana**: http://localhost:5601 - **Elasticsearch**: http://localhost:9200 - **Logstash**: http://localhost:5044 ## API接口说明 ### 订单管理接口 #### 1. 创建订单 ```bash POST /api/orders Content-Type: application/json { "userId": "user123", "items": [ { "productId": "P001", "productName": "iPhone 14", "price": 999.99, "quantity": 1 } ] } ``` #### 2. 查询订单 ```bash GET /api/orders/{orderId} ``` #### 3. 订单支付 ```bash POST /api/orders/{orderId}/payment Content-Type: application/json { "amount": 999.99, "method": "ALIPAY", "paymentAccount": "[email protected]" } ``` ### 演示接口 #### 1. ELK演示 ```bash GET /demo/elk ``` #### 2. 生成测试日志 ```bash POST /demo/generate-logs?count=100 ``` #### 3. 模拟异常 ```bash GET /demo/error ``` #### 4. 模拟业务流程 ```bash GET /demo/business-flow ``` ## 日志配置说明 ### 日志级别 - **DEBUG**: 详细调试信息 - **INFO**: 一般信息记录 - **WARN**: 警告信息 - **ERROR**: 错误信息 ### 日志字段 ```json { "@timestamp": "2023-05-01T12:00:00.000Z", "level": "INFO", "logger": "com.example.OrderService", "message": "订单创建成功", "appname": "order-service", "env": "dev", "traceId": "abc123xyz456", "userId": "user123", "clientIp": "192.168.1.100", "bizType": "OPERATION" } ``` ## Kibana使用指南 ### 1. 创建索引模式 1. 访问 http://localhost:5601 2. 进入 "Management" > "Stack Management" > "Index Patterns" 3. 创建 "logs-*" 索引模式 4. 选择 "@timestamp" 作为时间字段 ### 2. 查看日志 1. 进入 "Analytics" > "Discover" 2. 选择 "logs-*" 索引模式 3. 设置时间范围查看日志 ### 3. 常用查询语法 ``` # 查询错误日志 level: ERROR # 查询特定用户的日志 userId: "user123" # 查询特定追踪ID traceId: "abc123xyz456" # 组合查询 level: ERROR AND appname: "order-service" # 时间范围查询 @timestamp: [now-1h TO now] ``` ## 项目结构 ``` ├── src/main/java/com/example/ │ ├── Application.java # 主启动类 │ ├── aspect/ │ │ └── BizLogAspect.java # 业务日志切面 │ ├── config/ │ │ └── LogConfig.java # 日志配置 │ ├── controller/ │ │ ├── DemoController.java # 演示控制器 │ │ └── OrderController.java # 订单控制器 │ ├── dto/ # 数据传输对象 │ ├── entity/ # 实体类 │ ├── exception/ # 异常类 │ ├── repository/ # 数据访问层 │ ├── service/ # 业务服务层 │ └── util/ │ └── LogTestUtils.java # 日志测试工具 ├── src/main/resources/ │ ├── application.yml # 应用配置 │ ├── logback-spring.xml # Logback配置 │ └── data.sql # 初始化数据 ├── docker-compose.yml # ELK Stack部署配置 ├── logstash/ # Logstash配置 ├── filebeat/ # Filebeat配置 └── pom.xml # Maven配置 ``` ## 性能优化建议 ### 1. Elasticsearch优化 - 合理设置分片数量 - 使用索引生命周期管理(ILM) - 定期清理过期索引 ### 2. Logstash优化 - 调整批处理大小 - 增加工作线程数 - 优化过滤器性能 ### 3. 应用优化 - 合理设置日志级别 - 避免在循环中记录大量日志 - 使用异步日志输出 ## 故障排查 ### 常见问题 #### 1. 日志未出现在Kibana - 检查Filebeat是否正常运行 - 验证Logstash配置是否正确 - 确认Elasticsearch索引是否创建 #### 2. 性能问题 - 监控各组件资源使用情况 - 检查日志处理延迟 - 优化查询语句 #### 3. 连接问题 - 检查网络连接 - 验证端口是否开放 - 查看服务日志 ## 扩展功能 ### 1. 告警配置 可以在Kibana中配置告警规则，当出现异常情况时自动通知。 ### 2. 仪表盘 创建自定义仪表盘展示关键指标和趋势。 ### 3. 安全加固 - 启用TLS加密 - 配置用户认证 - 设置访问控制 ## 技术栈 - **后端**: Spring Boot 2.7.x, Spring Data JPA, H2 Database - **日志**: Logback, Logstash Logback Encoder - **ELK**: Elasticsearch 7.14.0, Logstash 7.14.0, Kibana 7.14.0, Filebeat 7.14.0 - **容器**: Docker, Docker Compose - **构建**: Maven 3.6+ - **JDK**: Java 8+ ## 许可证 MIT License