TraceId怎么搭配ELK使用

需求分析

先分析一下,我们想实现的核心功能是搜索,必然是用 ES 实现,那问题就转换成如何将日志收集并存储到 ES

日志大家都不陌生了,可以在控制台打印,也可以存入文件,那能不能直接输入 ES 呢,好像没听说过。

这里就要用到 Logstash 来收集日志,Spring 默认的日志框架 Logback 已经对其提供了支持,我们要做的只是编写配置文件。

Logstash 有个问题就是非常占用内存,所以本文后面会介绍另一个比较轻量级的日志收集工具 FileBeat ,由 Go 语言编写。

同时对于真实的线上环境为了保证吞吐量和可靠性,都会引入 Kafka 进行解耦,本文不做演示。

下面就进入实战部分,搭建一套日志收集与搜索系统。

ES

本文使用 7.14.2 版本。下载下来解压就行,不废话。

TraceId怎么搭配ELK使用

修改配置文件

进入 config 目录:

# elasticsearch.ymlpath.data: /Users/li/programs/elasticsearch-7.14.2/datapath.logs: /Users/li/programs/elasticsearch-7.14.2/logsingest.geoip.downloader.enabled: false
# jvm.options# 如果内存够用也可以不修改-Xms1g-Xmx1g

启动

./bin/elasticsearch
[2022-09-13T10:54:10,015][INFO ][o.e.n.Node               ] [LdeMacBook-Pro.mshome.net] started[2022-09-13T10:54:10,730][INFO ][o.e.l.LicenseService     ] [LdeMacBook-Pro.mshome.net] license [b7a596e6-1b61-4e6d-af2f-7eab70fe693b] mode [basic] - valid

测试

浏览器访问:http://localhost:9200/

TraceId怎么搭配ELK使用

kibana

下面再安装 ES 的可视化工具,下载地址同上,版本号同上。

TraceId怎么搭配ELK使用

修改配置文件

# kibana.ymlserver.port: 5601server.host: "localhost"elasticsearch.hosts: ["http://localhost:9200"]kibana.index: ".kibana"i18n.locale: "zh-CN" # 中文

启动

./bin/kibana
[10:56:42.001] [info][status] Kibana is now degraded[10:56:44.784] [info][status] Kibana is now available (was degraded)

测试

浏览器访问:http://localhost:5601/

TraceId怎么搭配ELK使用

新增数据并查询

PUT /ecommerce/product/1 {     "name" : "gaolujie yagao",     "desc" :  "gaoxiao meibai",     "price" :  30,     "producer" :  "gaolujie producer",     "tags": [ "meibai", "fangzhu" ] }GET /ecommerce/product/1

Logstash

下载地址同上,版本号同上。

TraceId怎么搭配ELK使用

拷贝配置文件 logstash-sample.conf

# logstash-log-boot.confinput {  tcp {    mode => "server"    host => "127.0.0.1"    # 通过监听9001端口进行采集日志    port => 9001    codec => json_lines  }}output {  elasticsearch {    # ES的地址    hosts => ["http://127.0.0.1:9200"]    # 索引的名称    index => "boot-log-collection-%{+YYYY.MM.dd}"  }  stdout {    codec => rubydebug  }}

启动

./bin/logstash -f ./config/logstash-log-boot.conf

Logback

OK,到此 ELK 就搭建完了,接下来就是配置 boot 应用的日志输出。logback.xml

<?xml version="1.0" encoding="UTF-8"?><configuration>    <property name="LOG_PATTERN"              value="%d{yyyy-MM-dd} %d{HH:mm:ss.SSS} [%highlight(%-5level)] [%boldYellow(%X{traceId})] [%boldYellow(%thread)] %boldGreen(%logger{36} %F.%L) %msg%n">    </property>    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">        <encoder>            <pattern>${LOG_PATTERN}</pattern>        </encoder>        <!-- 控制台打印INFO及以上级别的日志 -->        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">            <level>INFO</level>        </filter>    </appender>    <!--    LOGSTASH 日志收集-->    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">        <!-- 在logstash启动文件logstash-log-boot.conf中配置的IP地址和端口 -->        <destination>127.0.0.1:9001</destination>        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">            <level>INFO</level>        </filter>    </appender>    <root>        <appender-ref ref="STDOUT"/>        <!-- 引入LOGSTASH-->        <appender-ref ref="LOGSTASH" />    </root></configuration>

如果报LogstashTcpSocketAppender这个类找不到,需要添加一个依赖:

	<dependency>            <groupId>net.logstash.logback</groupId>            <artifactId>logstash-logback-encoder</artifactId>            <version>6.6</version>        </dependency>

其实这个依赖就是用来网络通信的,来传输日志。

测试

这时启动应用,观看 Logstash 的控制台,会跟着打印日志,再打开 ES ,创建我们配置好的查询索引,神奇的事情发生了,日志一条一条的展示出来。

TraceId怎么搭配ELK使用

再结合 TraceId 进行搜索,简直逆天!

TraceId怎么搭配ELK使用

Filebeat

同样是下载 FileBeat 。

TraceId怎么搭配ELK使用

修改配置文件

filebeat.inputs:- type: log  enabled: true  paths:    - /Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/*.logfilebeat.config.modules:  path: ${path.config}/modules.d/*.yml  reload.enabled: falsesetup.template.settings:  index.number_of_shards: 2setup.kibana:  host: "localhost:5601"output.elasticsearch:  hosts: ["localhost:9200"]processors:  - add_host_metadata: ~  - add_cloud_metadata: ~

因为 Filebeat 是基于监控日志文件有没有新增来同步数据的,所以需要配置日志文件的目录。

可以直接输出到 ES ,也可以输出到 Logstash 。二选一!

再配置 logback.xml

<appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">        <!--日志文件输出位置-->        <File>/Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/user.log</File>        <encoder>            <!--[%X{requestId}] 线程id,方便排查日志-->            <pattern>%date %level [%thread] [%X{requestId}] [%logger{36}.%method():%line] %msg%n</pattern>        </encoder>        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">            <level>INFO</level>        </filter>        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">            <!-- 添加.gz 历史日志会启用压缩 大大缩小日志文件所占空间 -->            <!--<fileNamePattern>/home/log/stdout.log.%d{yyyy-MM-dd}.log</fileNamePattern>-->            <fileNamePattern>                /Users/li/IdeaProjects/cloud-alibaba/cloud-service-commerce/commerce-user/log/user-%d{yyyy-MM-dd}.log            </fileNamePattern>            <maxHistory>3</maxHistory><!-- 保留 3 天日志 -->        </rollingPolicy>    </appender>		<root>        <appender-ref ref="FILE"/>    </root>

再次启动项目,发现日志已写入文件

TraceId怎么搭配ELK使用

进入 ES 查询,同样查询到日志。

经过测试,FileBeat 的日志收集延迟时间要比 Logstash 长,毕竟基于文件进行同步,可以理解,而且本身业务实时性要求不高。

TraceId怎么搭配ELK使用

关于“TraceId怎么搭配ELK使用”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“TraceId怎么搭配ELK使用”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注亿速云行业资讯频道。

文章标题:TraceId怎么搭配ELK使用,发布者:亿速云,转载请注明出处:https://worktile.com/kb/p/27355

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
亿速云的头像亿速云
上一篇 2022年9月20日 上午12:20
下一篇 2022年9月20日 上午12:21

相关推荐

  • 猫鼠服务器是什么公司

    猫鼠(Cats and Mouse)服务器可能是您要询问的一种服务器类型,或者是一个特定服务器名称的误解,但在知识库中并无明确的记录表示猫鼠服务器代表着一个具体的公司。如果您是在询问一个公司或品牌名为“猫鼠”的服务器供应商,可能需要提供更多信息或者具体的上下文才能得出准确答案。如果您实际上指的是一个…

    2024年4月25日
    7200
  • 推理服务器作用是什么

    摘要 推理服务器的作用是1、执行模型推理任务、2、优化推理性能、3、降低延迟、4、提高吞吐量、5、支持多种模型格式、6、提供模型管理与扩展功能。 在这些核心功能中,优化推理性能尤为关键,因为它直接关系到模型部署后的效率和稳定性。推理服务器通过使用专门的算法和硬件加速技术,大幅提高处理速度,同时保持高…

    2024年4月25日
    7500
  • 服务器管理的好处是什么

    摘要 服务器管理的好处包括: 1.提高安全性、2.增强性能、3.确保数据完整性、4.优化资源利用,等重要方面。特别是提高安全性,这是服务器管理中的关键部分,为防止未授权访问、数据泄露和其他潜在威胁,定期对服务器进行维护和更新至关重要。此外,安装安全软件、监控系统漏洞、及时打补丁和执行严格的访问控制策…

    2024年4月25日
    7600
  • 云服务器存储资料是什么

    摘要 云服务器存储资料是1、通过网络访问的远程服务器上存储的数据,其依赖于2、云计算技术,使得数据存取更加灵活和高效。在这两点中,通过网络访问的远程服务器存储意味着用户无需对物理硬件进行管理或投入高额的初期成本,而是通过互联网连接到远程数据中心,实现数据存储和管理。这种模式不仅降低了企业或个人的技术…

    2024年4月25日
    8100
  • 下挂的服务器叫什么

    摘要:下挂的服务器通常被称作1、边缘服务器或2、即服务外设。其中,边缘服务器主要用于提高网络服务的访问速度和提升用户体验。通过布局在接近最终用户的地理位置上,这种服务器能够缓存内容,减少数据传输的延迟,加快载入速度,有效缓解主服务器的负荷。边缘服务器尤其适用于内容交付网络(CDN)和大数据分析等场景…

    2024年4月25日
    9600
注册PingCode 在线客服
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部