wrke1990-CSDN博客

原创基于ELK的分布式日志存储、检索系统

目录前言：一、ELK概念二、ELK协同前言：随着应用发布方式朝着微服务化和容器的发展，传统的单节点日志查看，已难以满足大规模、大集群的部署架构。一个统一的分布式日志存储、查询系统，是迫切的需求。而ELK的架构可以很好的解决这个问题。一、ELK概念 E代表的是Elasticsearch，是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码

2020-07-29 16:57:11 334

原创 JAVA 日志脱敏实现

业务诉求：针对敏感数据进行脱敏输出，包括手机号、姓名、密码、身份证号、银行卡号和地址等，一般金融系统和电商系统在审计时要求会比较严格，需要进行脱敏输出。脱敏方案的对比：方案优点缺点适用场景 JAVA原生实现 1、适配任意日志组件 2、定制化脱敏，效率高 1、侵入代码 2、新增脱敏模式，需要升级改动 1、新项目 2、有资源进行代码改造 3、允许代码侵入基于日志组件实现

2022-04-21 11:48:51 2650

原创 Bean Validator之自定义入参枚举校验

Bean Validator之自定义入参枚举校验前一篇文章Bean Validator详解中详细介绍了Bean Validator的相关用法。此时，会发现如果想要校验入参是否在我们定义的某个枚举范围内，Bean Validator好像并没有对应的注解可以使用。现在，让我们来讲讲如何实现一个基于枚举的自定义入参校验。一、自定义注解 import javax.validation.Constraint; import javax.validation.ConstraintValidator; impo

2020-08-05 20:44:07 857

原创 Bean Validator详解

Bean Validator 一、jdk内置标签 Bean Validation 中内置的 constraint： @Null 被注释的元素必须为 null @NotNull 被注释的元素必须不为 null @AssertTrue 被注释的元素必须为 true @AssertFalse 被注释的元素必须为 false @Min(value) 被注释的元素必须是一个数字，其值必须大于等于指定的最小值 @Max(value) 被注释的元素必须是一个数字，其值必须小于等于指

2020-08-03 14:29:39 2812

原创基于ELK的分布式日志存储、检索系统之Elasticsearch

目录基于ELK的分布式日志存储、检索系统之Elasticsearch Elasticsearch Elasticsearch

2020-07-29 16:53:39 346

原创基于ELK的分布式日志存储、检索系统之Kibana

Kibana 一、定义 Kibana是一个免费且开放的用户界面，能够让您对 Elasticsearch 数据进行可视化，并让您在 Elastic Stack 中进行导航。您可以进行各种操作，从跟踪查询负载，到理解请求如何流经您的整个应用，都能轻松完成。二、环境搭建 1、基于docker 下载镜像：docker pull kibana:7.8.0 在本地创建kibana/data、kibana/config两个目录，用来映射容器中的数据和配置文件，并新增kibana.yml。kibana.yml内容如下：

2020-07-29 16:53:24 262

原创基于ELK的分布式日志存储、检索系统之数据收集

数据收集一、收集模式数据收集模式可以根据行为模式，分为应用直连上送和中间异步上送。 1、直连上送以java+log4j2为例：通过socket appender上送 log4j2配置: <appender> <Socket name="Logstash_client" host="localhost" port="5044" protocol="TCP"> <PatternLayout pattern="${PATTERN}" />

2020-07-29 16:53:00 268

原创基于ELK的分布式日志存储、检索系统之Filebeat

Filebeat 一、定义 Filebeat是一个轻量级的数据收集器，它能够监控log文件和事件，并将数据发生给LogStash和elasticsearch。二、原理 Filebeat有两个组件：查找器prospector和采集器harvester，来读取配置监控的文件并将事件数据发送到指定的输出。启动Filebeat时，它会启动一个或多个查找器，查看你为日志文件指定的本地路径。对于prospector所在的每个日志文件，prospector启动harvester。每个harvester都会为新内容读

2020-07-29 16:52:36 365

原创基于ELK的分布式日志存储、检索系统之LogStash

LogStash 一、定义 Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 Logstash数据处理分为input、filter、output三个过程： 1、input声明了数据从什么地方来、以及什么方式收集，有tcp和feat等方式。 2、filter声明数据应该经过什么模式筛选，筛选完后的格式、字段。 3、output声明格式化后的数据输出到哪进行存储，例如上个章节将到的elasticsearch。二、环境搭建 1、基于

2020-07-29 16:51:40 290