帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. Logtail采集
  7. Logtail进阶配置详解
  8. 处理插件
  9. 扩展插件:字段值映射处理

扩展插件:字段值映射处理

  • 处理插件
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

您在使用Logtail采集日志时,可以使用processor_dict_map插件进行字段值映射。本文介绍processor_dict_map插件的参数说明和配置示例。

使用限制

文本日志和容器标准输出只支持表单配置方式,其余输入插件只支持JSON配置方式。

功能入口

当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail采集配置时,添加插件配置。具体操作,请参见处理插件概述。

配置说明

表单配置方式

配置处理器类型为字段值映射处理,相关参数说明如下表所示。

参数

说明

原始字段

原始字段名。

结果字段

映射后的结果字段名。

映射字典

映射字典。设置键和值,将键映射到值上。

映射字典较小时,可直接通过此参数完成设置。不需要提供本地的CSV字典文件。

重要

当您设置了本地字典后,映射字典配置不生效。

本地字典

CSV格式的字典文件。该CSV文件的分隔符为半角逗号(,),字段引用表示为半角引号(")。

高级参数>处理原始字段缺失

选中该选项后,当原始日志中缺失目标字段时,将处理缺失字段,即按照结果字段填充值中的值进行填充。

高级参数>映射字典最大大小

映射字典的最大大小。默认值为1000,即最多可存储1000条映射规则。

如果要限制插件对服务器内存的占用,可调小该值。

高级参数>原日志处理方法

当映射后的字段在原始日志中已存在时的处理方式。

  • overwrite(默认值):覆写原字段。

  • fill:不覆写原字段。

JSON配置方式

配置type为processor_dict_map,detail说明如下表所示。

参数

类型

是否必选

说明

SourceKey

String

是

原始字段名。

MapDict

Map

否

映射字典。

映射字典较小时,可直接通过此参数完成设置。不需要提供本地的CSV字典文件。

重要

当您设置了DictFilePath参数后,MapDict参数中的配置不生效。

DictFilePath

String

否

CSV格式的字典文件。该CSV文件的分隔符为半角逗号(,),字段引用表示为半角引号(")。

DestKey

String

否

映射后的字段名。

HandleMissing

Boolean

否

当原始日志中缺失目标字段时,系统是否处理。

  • true:处理。

    系统将按照Missing参数中的值进行填充。

  • false(默认值):不处理。

Missing

String

否

处理原始日志中缺失的目标字段时,设置对应的填充值。默认值为Unknown。

当配置HandleMissing为true时,该参数配置生效。

MaxDictSize

Int

否

映射字典的最大大小。默认值为1000,即最多可存储1000条映射规则。

如果要限制插件对服务器内存的占用,可调小该值。

Mode

String

否

当映射后的字段在原始日志中已存在时的处理方式。

  • overwrite(默认值):覆写原字段。

  • fill:不覆写原字段。

相关文章

原生插件:正则解析 2025-04-22 11:04

Logtail正则解析插件支持通过正则表达式提取日志字段,并将日志解析为键值对形式。 功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见处理插件概述。

原生插件:JSON解析 2025-04-22 11:04

Logtail JSON解析插件支持将Object类型的JSON日志结构化,解析为键值对形式。 使用限制 JSON日志构建于两种结构,包括Object类型(键值对的集合)和Array类型(值的有序列表)。 Logtail JSON解析插件是原生插件,支持解析Object类型的JSON日志,提取为键值

原生插件:分隔符模式解析 2025-04-22 11:04

Logtail分隔符模式解析插件支持通过分隔符将日志内容结构化,解析为多个键值对形式。 功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见处理插件概述。

原生插件:Nginx模式解析 2025-04-22 11:04

Logtail Nginx模式插件支持根据log_format中的定义将日志内容结构化,解析为多个键值对形式。 Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志,log_format和access_log的默认值如下所示。

原生插件:Apache模式解析 2025-04-22 11:04

Logtail Apache模式解析插件支持根据Apache日志配置文件中的定义将日志内容结构化,解析为多个键值对形式。 Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式

原生插件:IIS模式解析 2025-04-22 11:04

Logtail IIS模式插件支持根据IIS日志格式定义将日志内容结构化,解析为多个键值对形式。 IIS日志简介 Windows服务器会根据您所选择的日志格式(IIS、NCSA和W3C)生成IIS日志。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1