帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. Logtail采集
  7. Logtail进阶配置详解
  8. 处理插件
  9. 扩展插件:Log转为Metric

扩展插件:Log转为Metric

  • 处理插件
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

您在使用Logtail采集日志时,可以使用processor_log_to_sls_metric插件将采集到的日志转成SLS Metric。本文介绍processor_log_to_sls_metric插件的参数说明和配置示例。

功能入口

当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail采集配置时,添加插件配置。具体操作,请参见处理插件概述。

配置说明

重要

Logtail 1.7.1及以上版本支持processor_log_to_sls_metric插件。

表单配置方式

配置处理器类型为Log转Metric,相关参数说明如下表所示。

  • 参数说明

    参数

    说明

    MetricTimeKey

    指定日志中的时间字段,该字段将与时序数据中的__time_nano__ 字段映射。默认提取日志中__time__字段的值。

    确保指定的字段是合法的、符合格式的时间戳。目前支持以second(10位长度)、millisecond(13位长度)、microsecond(16位长度)、nanosecond(19位长度)为单位的Unix时间戳。

    MetricLabelKeys

    指定__labels__字段的Key列表,Key需遵循正则表达式 ^[a-zA-Z_][a-zA-Z0-9_]*$。Value不能包含竖线(|)和 #$#。更多信息,请参见时序数据(Metric)。

    不支持在MetricLabelKeys参数中添加__labels__字段。如果原始字段中存在 __labels__ 字段,该值将被追加到新的__labels__字段中。

    MetricValues

    用于指定Metric名称和Metric值。

    • Metric名称对应__name__字段,需遵循正则表达式^[a-zA-Z_:][a-zA-Z0-9_:]*$。

    • Metric值对应__value__字段,需为Double类型。

    更多信息,请参见时序数据(Metric) 。

    CustomMetricLabels

    自定义的__labels__字段, Key需遵循正则表达式 ^[a-zA-Z_][a-zA-Z0-9_]*$,Value不能包含竖线(|)和 #$#。更多信息,请参见时序数据(Metric) 。

    IgnoreError

    当没有匹配日志时是否输出Error日志。

  • 配置示例

    • 原始日志

      {
          "script_md5":"8c6aebe9****c27f",
          "remote_addr":"123.XX.XX.123",
          "remote_user":"-",
          "time_local":"15/Aug/2023:12:03:20",
          "method":"GET",
          "url":"/www.a.com",
          "protocol":"HTTP/1.1",
          "status":"404",
          "body_bytes_sent":"4146",
          "http_referer":"-",
          "http_user_agent":"curl/7.74.0",
          "http_x_forwarded_for":"-",
          "__labels__":"field1#$#field1|field2#$#field2|tag1#$#tag1|tag2#$#tag2",
          "body_bytes_sent_name":"body_bytes_sent",
          "status_name":"status",
          "httptime":"1692101000",
          "__time__":"1692101000"
      }
    • Logtail插件处理配置

      image

    • 处理结果

      • 第一条时序数据

        {
            "__labels__":"field1#$#field1|field2#$#field2|method#$#GET|nginx#$#test|tag1#$#tag1|tag2#$#tag2|url#$#/www.a.com",
            "__name__":"body_bytes_sent",
            "__value__":"4146",
            "__time_nano__":"1692101000000000000",
            "__time__":"1692101000"
        }
      • 第二条时序数据

        {
            "__labels__":"field1#$#field1|field2#$#field2|method#$#GET|nginx#$#test|tag1#$#tag1|tag2#$#tag2|url#$#/www.a.com",
            "__name__":"status",
            "__value__":"404",
            "__time_nano__":"1692101000000000000",
            "__time__":"1692101000"
        }

JSON配置方式

配置type为processor_log_to_sls_metric,detail说明如下表所示。

  • 参数说明

    参数

    类型

    是否必选

    说明

    MetricTimeKey

    String

    否

    指定日志中的时间字段,该字段将与时序数据中的__time_nano__ 字段映射。默认提取日志中__time__字段的值。

    确保指定的字段是合法的、符合格式的时间戳。目前支持以second(10位长度)、millisecond(13位长度)、microsecond(16位长度)、nanosecond(19位长度)为单位的Unix时间戳。

    MetricLabelKeys

    []String

    是

    指定__labels__字段的Key列表,Key需遵循正则表达式 ^[a-zA-Z_][a-zA-Z0-9_]*$。Value不能包含竖线(|)和 #$#。更多信息,请参见时序数据(Metric)。

    不支持在MetricLabelKeys参数中添加__labels__字段。如果原始字段中存在 __labels__ 字段,该值将被追加到新的__labels__字段中。

    MetricValues

    Map

    是

    用于指定Metric名称和Metric值。

    • Metric名称对应__name__字段,需遵循正则表达式^[a-zA-Z_:][a-zA-Z0-9_:]*$。

    • Metric值对应__value__字段,需为Double类型。

    更多信息,请参见时序数据(Metric) 。

    CustomMetricLabels

    Map

    否

    自定义的__labels__字段, Key需遵循正则表达式 ^[a-zA-Z_][a-zA-Z0-9_]*$,Value不能包含竖线(|)和 #$#。更多信息,请参见时序数据(Metric) 。

    IgnoreError

    Boolean

    否

    当没有匹配日志时是否输出Error日志。默认值为false,表示不输出。

  • 配置示例

    • 原始日志

      {
          "script_md5":"8c6aebe9****c27f",
          "remote_addr":"123.XX.XX.123",
          "remote_user":"-",
          "time_local":"15/Aug/2023:12:03:20",
          "method":"GET",
          "url":"/www.a.com",
          "protocol":"HTTP/1.1",
          "status":"404",
          "body_bytes_sent":"4146",
          "http_referer":"-",
          "http_user_agent":"curl/7.74.0",
          "http_x_forwarded_for":"-",
          "__labels__":"field1#$#field1|field2#$#field2|tag1#$#tag1|tag2#$#tag2",
          "body_bytes_sent_name":"body_bytes_sent",
          "status_name":"status",
          "httptime":"1692101000",
          "__time__":"1692101000"
      }
    • Logtail插件处理配置

      {
          "processors":[
              {
                  "detail":{
                      "CustomMetricLabels":{
                          "nginx":"test"
                      },
                      "IgnoreError":false,
                      "MetricLabelKeys":[
                          "url",
                          "method"
                      ],
                      "MetricTimeKey":"httptime",
                      "MetricValues":{
                          "body_bytes_sent_name":"body_bytes_sent",
                          "status_name":"status"
                      }
                  },
                  "type":"processor_log_to_sls_metric"
              }
          ]
      }
    • 处理结果

      • 第一条时序数据

        {
            "__labels__":"field1#$#field1|field2#$#field2|method#$#GET|nginx#$#test|tag1#$#tag1|tag2#$#tag2|url#$#/www.a.com",
            "__name__":"body_bytes_sent",
            "__value__":"4146",
            "__time_nano__":"1692101000000000000",
            "__time__":"1692101000"
        }
      • 第二条时序数据

        {
            "__labels__":"field1#$#field1|field2#$#field2|method#$#GET|nginx#$#test|tag1#$#tag1|tag2#$#tag2|url#$#/www.a.com",
            "__name__":"status",
            "__value__":"404",
            "__time_nano__":"1692101000000000000",
            "__time__":"1692101000"
        }
相关文章

原生插件:正则解析 2025-04-22 11:04

Logtail正则解析插件支持通过正则表达式提取日志字段,并将日志解析为键值对形式。 功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见处理插件概述。

原生插件:JSON解析 2025-04-22 11:04

Logtail JSON解析插件支持将Object类型的JSON日志结构化,解析为键值对形式。 使用限制 JSON日志构建于两种结构,包括Object类型(键值对的集合)和Array类型(值的有序列表)。 Logtail JSON解析插件是原生插件,支持解析Object类型的JSON日志,提取为键值

原生插件:分隔符模式解析 2025-04-22 11:04

Logtail分隔符模式解析插件支持通过分隔符将日志内容结构化,解析为多个键值对形式。 功能入口 当您需要使用Logtail插件处理日志时,您可以在创建或修改Logtail配置时,添加插件。具体操作,请参见处理插件概述。

原生插件:Nginx模式解析 2025-04-22 11:04

Logtail Nginx模式插件支持根据log_format中的定义将日志内容结构化,解析为多个键值对形式。 Nginx日志简介 Nginx服务器会根据log_format和access_log配置输出对应的Nginx访问日志,log_format和access_log的默认值如下所示。

原生插件:Apache模式解析 2025-04-22 11:04

Logtail Apache模式解析插件支持根据Apache日志配置文件中的定义将日志内容结构化,解析为多个键值对形式。 Apache日志简介 Apache服务器会根据Apache日志配置文件中指定的日志打印格式

原生插件:IIS模式解析 2025-04-22 11:04

Logtail IIS模式插件支持根据IIS日志格式定义将日志内容结构化,解析为多个键值对形式。 IIS日志简介 Windows服务器会根据您所选择的日志格式(IIS、NCSA和W3C)生成IIS日志。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1