帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据加工
  6. 数据加工(旧版)
  7. 数据加工仪表盘

数据加工仪表盘

  • 数据加工(旧版)
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

创建数据加工任务后,日志服务默认为每个加工任务创建一个仪表盘,您可以在仪表盘中查看数据加工任务运行指标。本文介绍加工任务运行指标详情及如何查看数据加工仪表盘。

查看仪表盘

创建加工任务后,您可以在数据加工概览页面查看该任务的仪表盘。

  1. 登录日志服务控制台。

  2. 在Project列表区域,单击目标Project。

    image

  3. 在左侧导航栏中,选择任务管理 > 数据加工。

  4. 单击目标数据加工任务,在执行状态区域,查看仪表盘信息。

总览指标

总览指标信息如下所示。总览指标

  • 读日志数总计:从源Logstore的各个shard中读取到的日志条数总计。

  • 投递日志数总计:从源Logstore的各个shard中读取日志并成功写入到目标Logstore的日志条数总计。

  • 失败日志数总计:从源Logstore的各个shard中读取日志并在加工过程中发生失败的日志条数总计。

  • 投递日志数占比:成功投递到目标Logstore的日志条数占源Logstore读取到日志条数的比例。

加工速率

加工速率用于统计每分钟窗口内,数据加工处理的日志条数。加工速率指标

  • accept:从源Logstore的各个shard中读到的日志条数。

  • dropped:从源Logstore的各个shard中读到并按规则脚本预期丢弃的日志条数。

  • delivered:从源Logstore的各个shard中读到并成功写入到目标Logstore的日志条数。

  • failed:从源Logstore的各个shard中读取到日志并在加工过程中发生失败的日志条数。

shard消费延迟、shard消费速率

统计每分钟窗口内,加工任务读取源Logstore数据时,每个shard的指标。消费延迟与速率指标

  • 消费延迟:该shard中的日志被完全消费的时间与该shard最新日志产生的时间之差。两个时间,都是按shard数据到达服务端时间(server receive time)开始计算的。

  • 消费速率:shard在一分钟窗口内平均每秒钟读取到的日志条数。

说明

处理实时日志时消费延迟一般是1s左右。如果处理的是历史日志数据,在任务开始的阶段消费延迟可能会很高,随着数据加工的进行,消费进度不断追赶最终达到低延迟水平。

活跃shard

展示最近一段时间内发生,shard每秒处理的日志行数(accept、dropped、delivered、failed)。活跃Shard指标

异常详情

您可以根据reason字段,查看可能导致出错的规则脚本。异常详情

您也可以在当前Project下的internal-etl-log日志库中,通过关键词ERROR或WARNING查看完整的错误日志。

相关文章

数据加工概述 2025-04-22 10:55

日志服务提供可托管、可扩展、高可用的数据加工服务。数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。

基本概念 2025-04-22 10:55

本文档主要介绍数据加工功能的一些基本概念。 基本概念

加工原理 2025-04-22 10:55

日志服务提供的数据加工功能,通过编排内置的两百多个函数,使用协同消费组对日志数据进行消费,实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理,以及加工规则引擎的工作原理。 调度原理

使用限制 2025-04-22 10:55

本文介绍日志服务数据加工的使用限制。 任务配置

支持地域 2025-04-22 10:55

本文介绍日志服务数据加工支持的地域信息。 以下地域支持使用日志服务的数据加工功能。

授权 2025-04-22 10:55

您使用数据加工功能时,涉及数据加工操作权限和数据访问权限。 如果您使用的是阿里云账号,直接执行加工任务访问数据授权。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1