帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. 数据采集常见问题
  7. 如何采集多种格式的日志

如何采集多种格式的日志

  • 数据采集常见问题
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

采集日志时要求日志采用统一的格式,但有时日志中可能会包含多种格式,您可以采用Schema-On-Write和Schema-On-Read两种模式处理。

背景信息

以Java日志为例,作为一个程序日志,它一般既包含正常信息,也会包含异常栈等错误信息。

  • WARNING类型的多行日志

  • INFO类型的简单文本日志

  • DEBUG类型的键值日志

[2018-10-01T10:30:31,000] [WARNING] java.lang.Exception: another exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)
[2018-10-01T10:30:32,000] [INFO] info something
[2018-10-01T10:30:33,000] [DEBUG] key:value key2:value2

解决方案

  • Schema-On-Write

    • 使用场景:预先知道日志格式,在采集日志时完成格式化。

    • 说明:为同一份日志应用多个Logtail配置,每个Logtail配置具有不同的正则配置,从而能够正确地实现字段提取。默认情况下,一个文件只能匹配一个Logtail配置,如果需要为同一份日志应用多个Logtail配置,请参见如何实现文件中的日志被采集多份。

  • Schema-On-Read

    • 使用场景:同时分析的日志数量较小(例如千万级),日志格式多变,在查询和分析日志时完成格式化。

    • 说明:使用它们共同的正则表达式来采集。

      1. 例如采用多行日志采集,将时间和日志等级作为行首正则,剩余部分为message。例如提取[2018-10-01T10:30:32,000] [INFO]作为行首正则,message为info something。

      2. 如果希望进一步分析message,可以为该字段创建索引,然后利用日志服务的正则提取函数从message字段提取需要的内容。

相关文章

日志管理 2025-04-22 10:59

日志服务如何存储、管理用户的日志? 日志库(Logstore)是日志服务中的日志存储和查询的基本单元,通常用于存储一类日志数据。目前,支持在控制台或者通过API完成对日志库的增删改查操作。日志库创建完成后,用户通过API或SDK向指定日志库写入日志数据。如果用户希望收集阿里云ECS服务器的数据,日志

Logtail基本问题 2025-04-22 10:59

本文介绍Logtail的基本问题。 什么是Logtail? Logtail是日志服务提供的一种便于日志接入的日志采集客户端。在您

如何排查容器日志采集异常 2025-04-22 10:59

当您使用Logtail采集容器(标准容器、Kubernetes)日志时,如果采集状态异常,可以根据本文进行问题排查、运行状态检查等运维操作。

如何获取Docker容器的Label和环境变量 2025-04-22 10:59

当您使用Logtail采集容器日志时,可以通过Label和环境变量对待采集的容器进行过滤。Label指运行docker inspect命令时显示的容器元数据中的标签信息,环境变量是在容器启动时设置的运行时环境参数。本文介绍如何获取容器的Label和环境变量。

Logtail采集日志失败的排查思路 2025-04-22 10:59

使用Logtail采集日志后,如果预览页面为空或查询页面无数据,您可以根据本文步骤进行排查。 排查概览 日志文件未更新:配置Logtail采集后,如果待采集的日志文件无更新,则Logtai

日志服务采集数据常见的错误类型 2025-04-22 10:59

本文介绍日志服务采集数据常见的错误类型及对应的解决方法。 如果您遇到其他问题,请提交工单处理。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1