帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. Logtail采集
  7. Logtail进阶配置详解
  8. 处理插件
  9. 扩展插件:展开JSON字段

扩展插件:展开JSON字段

  • 处理插件
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

您可以使用processor_json插件展开JSON字段。本文介绍processor_json插件的参数说明和配置示例。

重要
  • 表单配置方式:采集文本日志和容器标准输出时可用。

  • JSON配置方式:采集文本日志时不可用。

功能入口

当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail采集配置时,添加插件配置。具体操作,请参见处理插件概述。

配置说明

重要

Logtail 0.16.28及以上版本支持processor_json插件。

表单配置方式

  • 参数说明

    配置处理器类型为展开JSON字段,相关参数说明如下表所示。

    参数

    说明

    原始字段

    待展开的原始字段名。

    JSON展开深度

    JSON展开的深度。默认值为0,表示不限制。1表示当前层级,以此类推。

    JSON展开连接符

    JSON展开时的连接符,默认值为下划线(_)。

    JSON展开字段前缀

    JSON展开时,对字段名附加的前缀。

    展开数组

    是否展开数组类型。Logtail 1.8.0及以上版本支持该参数。

    保留原始字段

    选中该选项后,被解析后的日志中将保留原始字段。

    原始字段缺失报错

    选中该选项后,如果原始日志中无您所指定的原始字段,系统将报错。

    将原始字段名作为展开字段名前缀

    选中该选项后,系统会将原始字段名作为所有JSON展开字段名的前缀。

    解析失败保留原始日志

    选中该选项后,如果解析日志失败,系统将保留原始日志。

  • 配置示例

    对s_key字段进行JSON展开,并使用j作为前缀,和原始字段名s_key作为JSON展开后字段名。配置示例如下:

    • 原始日志(Logtail读取的文件路径)

      {"s_key":"{\"k1\":{\"k2\":{\"k3\":{\"k4\":{\"k51\":\"51\",\"k52\":\"52\"},\"k41\":\"41\"}}}}"}
    • Logtail插件处理配置

      image

    • 处理结果

      image

JSON配置方式

  • 参数说明

    配置type为processor_json,detail说明如下表所示。

    参数

    类型

    是否必选

    说明

    SourceKey

    String

    是

    待展开的原始字段名。

    NoKeyError

    Boolean

    否

    原始日志中无您所指定的原始字段时,系统是否报错。

    • true(默认值):报错。

    • false:不报错。

    ExpandDepth

    Int

    否

    JSON展开的深度。默认值为0,表示不限制。1表示当前层级,以此类推。

    ExpandConnector

    String

    否

    JSON展开时的连接符,默认值为下划线(_)。

    Prefix

    String

    否

    JSON展开时,对字段名附加的前缀。

    KeepSource

    Boolean

    否

    被解析后的日志中是否保留原始字段。

    • true(默认值):保留。

    • false:不保留。

    UseSourceKeyAsPrefix

    Boolean

    否

    是否将原始字段名作为所有JSON展开字段名的前缀。

    KeepSourceIfParseError

    Boolean

    否

    解析日志失败时,是否保留原始日志。

    • true(默认值):保留。

    • false:不保留。

    ExpandArray

    Boolean

    否

    是否展开数组类型。Logtail 1.8.0及以上版本支持该参数。

    • false(默认值):不展开。

    • true:展开。例如{"k":["1","2"]}展开为{"k[0]":"1","k[1]":"2"}。

  • 配置示例

    对s_key字段进行JSON展开,并使用j作为前缀,和原始字段名s_key作为JSON展开后字段名。配置示例如下:

    • 原始日志(Logtail读取的文件路径)

      {"s_key":"{\"k1\":{\"k2\":{\"k3\":{\"k4\":{\"k51\":\"51\",\"k52\":\"52\"},\"k41\":\"41\"}}}}"}
    • Logtail插件处理配置

      {
        "processors":[
          {
            "type":"processor_json",
            "detail": {
              "SourceKey": "content",
              "NoKeyError":true,
              "ExpandDepth":0,
              "ExpandConnector":"-",
              "Prefix":"j",
              "KeepSource": false,
              "UseSourceKeyAsPrefix": true
            }
          }
        ]
      }
    • 处理结果

      image

相关文章

原生插件:正则解析 2025-04-22 11:04

Logtail正则解析插件支持通过正则表达式提取日志字段,并将日志解析为键值对形式。 功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见处理插件概述。

原生插件:JSON解析 2025-04-22 11:04

Logtail JSON解析插件支持将Object类型的JSON日志结构化,解析为键值对形式。 使用限制 JSON日志构建于两种结构,包括Object类型(键值对的集合)和Array类型(值的有序列表)。 Logtail JSON解析插件是原生插件,支持解析Object类型的JSON日志,提取为键值

原生插件:分隔符模式解析 2025-04-22 11:04

Logtail分隔符模式解析插件支持通过分隔符将日志内容结构化,解析为多个键值对形式。 功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见处理插件概述。

原生插件:Nginx模式解析 2025-04-22 11:04

Logtail Nginx模式插件支持根据log_format中的定义将日志内容结构化,解析为多个键值对形式。 Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志,log_format和access_log的默认值如下所示。

原生插件:Apache模式解析 2025-04-22 11:04

Logtail Apache模式解析插件支持根据Apache日志配置文件中的定义将日志内容结构化,解析为多个键值对形式。 Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式

原生插件:IIS模式解析 2025-04-22 11:04

Logtail IIS模式插件支持根据IIS日志格式定义将日志内容结构化,解析为多个键值对形式。 IIS日志简介 Windows服务器会根据您所选择的日志格式(IIS、NCSA和W3C)生成IIS日志。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1