帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. Logtail采集
  7. Logtail进阶配置详解
  8. 处理插件
  9. 扩展插件:字符串替换

扩展插件:字符串替换

  • 处理插件
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

您在使用Logtail采集日志时,可以使用processor_string_replace插件,实现文本日志的全文替换、正则提取替换或去转义符。本文介绍processor_string_replace插件的参数说明和配置示例。

重要
  • 表单配置方式:采集文本日志和容器标准输出时可用。

  • JSON配置方式:采集文本日志时不可用。

功能入口

当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail采集配置时,添加插件配置。具体操作,请参见处理插件概述。

插件配置说明

重要

Logtail 1.6.0及以上版本支持processor_string_replace插件。

表单配置方式

配置处理器类型为字符串替换,相关参数说明如下表所示。

参数

说明

原始字段

原始字段名。

匹配方式

指定匹配方式。可选值:

  • 字符串匹配:通过字符串替换目标内容。

  • 正则匹配:通过正则表达式替换目标内容。

  • 去除转义符:去除转义符。

匹配内容

输入匹配的内容。

  • 设置匹配方式为字符串匹配时,输入与待替换内容匹配的字符串。

    当多个字符串都匹配时,全部替换。

  • 设置匹配方式为正则表达式匹配时,输入与待替换内容匹配的正则表达式。

    当多个字符串都匹配时,全部替换。您也可以用正则分组方式匹配指定的分组。

  • 设置匹配方式为去除转义符时,无需配置该参数。

替换内容

用于替换的字符串。

  • 设置匹配方式为字符串匹配时,输入用于替换原内容的字符串。

  • 设置匹配方式为正则表达式匹配时,输入用于替换原内容的字符串,支持根据正则分组进行替换。

  • 设置匹配方式为去除转义符时,无需配置该参数。

结果字段

为替换后的内容指定新字段。

JSON配置方式

配置type为processor_string_replace,detail说明如下表所示。

参数

类型

是否必选

说明

SourceKey

String

是

原始字段名。

Method

String

是

指定匹配方式。可选值:

  • const:使用字符串替换。

  • regex:使用正则表达式替换。

  • unquote:去除转义符。

Match

String

否

输入匹配内容。

  • 设置Method为const时,输入与待替换内容匹配的字符串。

    当多个字符串都匹配时,全部替换。

  • 设置Method为regex时,输入与待替换内容匹配的正则表达式。

    当多个字符串都匹配时,全部替换。您也可以用正则分组方式匹配指定的分组。

  • 设置Method为unquote时,无需配置此参数。

ReplaceString

String

否

用于替换的字符串,默认值为""。

  • 设置Method为const时,输入用于替换原内容的字符串。

  • 设置Method为regex时,输入用于替换原内容的字符串,支持根据正则分组进行替换。

  • 设置Method为unquote时,无需配置此参数。

DestKey

String

否

为替换后的内容指定新字段,默认不新增字段。

配置示例

通过字符串匹配方式进行替换

通过字符串匹配方式进行替换,将content字段值中的Error:替换为空字符串。

表单配置方式

  • 原始日志如下:

    "content": "2023-05-20 10:01:23 Error: Unable to connect to database."
  • Logtail插件处理配置:image..png

  • 处理结果:

    "content": "2023-05-20 10:01:23 Unable to connect to database."

JSON配置方式

  • 原始日志:

    "content": "2023-05-20 10:01:23 Error: Unable to connect to database."
  • Logtail插件处理配置:

    {
      "processors":[
        {
          "type":"processor_string_replace",
          "detail": {
            "SourceKey": "content",
            "Method": "const",
            "Match": "Error: ", 
            "ReplaceString": ""
          }
        }
      ]
    }
  • 处理结果:

    "content": "2023-05-20 10:01:23 Unable to connect to database.",

通过正则表达式方式进行替换

通过正则表达式方式进行替换,将content字段值中与正则表达式\\u\w+\[\d{1,3};*\d{1,3}m|N/A匹配的字符串替换为空字符串。

表单配置方式

  • 原始日志:

    "content": "2022-09-16 09:03:31.013 \u001b[32mINFO \u001b[0;39m \u001b[34m[TID: N/A]\u001b[0;39m [\u001b[35mThread-30\u001b[0;39m] \u001b[36mc.s.govern.polygonsync.job.BlockTask\u001b[0;39m : 区块采集------结束------\r"
  • Logtail插件处理配置:image..png

  • 处理结果:

    "content": "2022-09-16 09:03:31.013 INFO [TID: ] [Thread-30] c.s.govern.polygonsync.job.BlockTask : 区块采集------结束------\r",

JSON配置方式

  • 原始日志:

    "content": "2022-09-16 09:03:31.013 \u001b[32mINFO \u001b[0;39m \u001b[34m[TID: N/A]\u001b[0;39m [\u001b[35mThread-30\u001b[0;39m] \u001b[36mc.s.govern.polygonsync.job.BlockTask\u001b[0;39m : 区块采集------结束------\r"
  • Logtail插件处理配置:

    {
      "processors":[
        {
          "type":"processor_string_replace",
          "detail": {
            "SourceKey": "content",
            "Method": "regex",
            "Match": "\\\\u\\w+\\[\\d{1,3};*\\d{1,3}m|N/A", 
            "ReplaceString": ""
          }
        }
      ]
    }
  • 处理结果:

    "content": "2022-09-16 09:03:31.013 INFO [TID: ] [Thread-30] c.s.govern.polygonsync.job.BlockTask : 区块采集------结束------\r",

通过正则分组方式进行替换

通过正则分组方式进行替换,将content字段值中的16替换为*/24,并输出到新字段new_ip中。

重要

正则分组替换时,替换内容中不能存在{},只能使用$1、$2 等形式。

表单配置方式

  • 原始日志:

    "content": "10.10.239.16"
  • Logtail插件处理配置:image..png

  • 处理结果:

    "content": "10.10.239.16",
    "new_ip": "10.10.239.*/24",

JSON配置方式

  • 原始日志:

    "content": "10.10.239.16"
  • Logtail插件处理配置:

    {
      "processors":[
        {
          "type":"processor_string_replace",
          "detail": {
            "SourceKey": "content",
            "Method": "regex",
            "Match": "(\\d.*\\.)\\d+", 
            "ReplaceString": "$1*/24",
            "DestKey": "new_ip"
          }
        }
      ]
    }
  • 处理结果:

    "content": "10.10.239.16",
    "new_ip": "10.10.239.*/24",

删除转义字符

表单配置方式

  • 原始日志:

    "content": "{\\x22UNAME\\x22:\\x22\\x22,\\x22GID\\x22:\\x22\\x22,\\x22PAID\\x22:\\x22\\x22,\\x22UUID\\x22:\\x22\\x22,\\x22STARTTIME\\x22:\\x22\\x22,\\x22ENDTIME\\x22:\\x22\\x22,\\x22UID\\x22:\\x222154212790\\x22,\\x22page_num\\x22:1,\\x22page_size\\x22:10}"
  • Logtail插件处理配置:image..png

  • 处理结果:

    "content": "{\"UNAME\":\"\",\"GID\":\"\",\"PAID\":\"\",\"UUID\":\"\",\"STARTTIME\":\"\",\"ENDTIME\":\"\",\"UID\":\"2154212790\",\"page_num\":1,\"page_size\":10}",

JSON配置方式

  • 原始日志:

    "content": "{\\x22UNAME\\x22:\\x22\\x22,\\x22GID\\x22:\\x22\\x22,\\x22PAID\\x22:\\x22\\x22,\\x22UUID\\x22:\\x22\\x22,\\x22STARTTIME\\x22:\\x22\\x22,\\x22ENDTIME\\x22:\\x22\\x22,\\x22UID\\x22:\\x222154212790\\x22,\\x22page_num\\x22:1,\\x22page_size\\x22:10}"
  • Logtail插件处理配置:

    {
      "processors":[
        {
          "type":"processor_string_replace",
          "detail": {
            "SourceKey": "content",
            "Method": "unquote"
          }
        }
      ]
    }
  • 处理结果:

    "content": "{\"UNAME\":\"\",\"GID\":\"\",\"PAID\":\"\",\"UUID\":\"\",\"STARTTIME\":\"\",\"ENDTIME\":\"\",\"UID\":\"2154212790\",\"page_num\":1,\"page_size\":10}",
相关文章

原生插件:正则解析 2025-04-22 11:04

Logtail正则解析插件支持通过正则表达式提取日志字段,并将日志解析为键值对形式。 功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见处理插件概述。

原生插件:JSON解析 2025-04-22 11:04

Logtail JSON解析插件支持将Object类型的JSON日志结构化,解析为键值对形式。 使用限制 JSON日志构建于两种结构,包括Object类型(键值对的集合)和Array类型(值的有序列表)。 Logtail JSON解析插件是原生插件,支持解析Object类型的JSON日志,提取为键值

原生插件:分隔符模式解析 2025-04-22 11:04

Logtail分隔符模式解析插件支持通过分隔符将日志内容结构化,解析为多个键值对形式。 功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见处理插件概述。

原生插件:Nginx模式解析 2025-04-22 11:04

Logtail Nginx模式插件支持根据log_format中的定义将日志内容结构化,解析为多个键值对形式。 Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志,log_format和access_log的默认值如下所示。

原生插件:Apache模式解析 2025-04-22 11:04

Logtail Apache模式解析插件支持根据Apache日志配置文件中的定义将日志内容结构化,解析为多个键值对形式。 Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式

原生插件:IIS模式解析 2025-04-22 11:04

Logtail IIS模式插件支持根据IIS日志格式定义将日志内容结构化,解析为多个键值对形式。 IIS日志简介 Windows服务器会根据您所选择的日志格式(IIS、NCSA和W3C)生成IIS日志。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1