帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 查询与分析
  6. 通过索引模式查询和分析日志
  7. 使用SPL查询和分析日志

使用SPL查询和分析日志

  • 通过索引模式查询和分析日志
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

当您需要对日志数据进行结构化信息提取、字段操作和数据过滤时,可以通过使用SPL语言(SLS Processing Language)来解决这些问题。另外,日志服务还提供多级管道级联功能,以便输出经过SPL处理的结果数据。

背景信息

当SPL查询涉及到的字段都有字段索引(并开启统计)的时候,SPL会按照索引模式执行查询分析。如果SPL涉及的字段没有索引,会按照扫描(Scan)模式查询和分析。更多信息,请参见扫描(Scan)查询语法。

基本语法

扫描查询模式支持SPL(SLS Processing Language),更多信息请参见SPL语法。对于读取出的原始数据,可以通过SPL语句做结构化信息提取、字段操作、数据过滤等操作,并支持多级管道级联,最终输出经过SPL处理后的结果数据。

索引查询语句 | <spl-cmd> ... | <spl-cmd> ...

示例

  • 按某个条件过滤原始日志

    status:200 | where host like '%www%'
  • 计算出新的字段,计算出的字段也可以再次过滤。

    status:200 
    | extend timediff = cast(endTime as bigint) - cast(beginTime as bigint)
    | where timediff > 100
  • 将JSON字段展开,丢弃原有的JSON字段。

    status:200 
    | parse-json body 
    | project-away body

索引模式SPL与扫描模式SPL的对比

当SPL查询涉及到的字段都有字段索引(并开启统计)的时候,SPL会自动按照索引模式执行,否则按照扫描模式执行。

对比项

索引模式SPL

扫描模式SPL

是否需要配置索引

需要SPL中涉及到的字段,开启字段索引并开启统计。

不需要。

重要

第一级竖线(|)前的索引查询语句仍依赖于索引。

性能

强

一般

是否支持随机翻页

支持。

不支持。

日志直方图

基于查询语句的查询结果进行展示。

基于查询语句的查询结果、扫描进度进行展示。

运算符与函数

参考SPL指令与SPL支持的SQL函数列表。

参考SPL指令与SPL支持的SQL函数列表。

字段类型

SPL语句中出现的字段均按照text类型处理。详情请参考数据类型转换。

SPL语句中出现的字段均按照text类型处理。详情请参考数据类型转换。

结果集大小

通过控制台或SDK指定,最大100条。

满足下述任一条件,本次扫描结束并返回扫描结果。

  • 达到您所指定的结果条数。

    您可以控制台或SDK指定返回的结果条数。

  • 扫描超过了单次系统设定的最大条数(基于查询语句的结果集,默认10万条。)

  • 扫描执行时间超过45秒。

费用

索引流量和索引存储费用。更多信息,请参见按使用功能计费模式计费项。

SPL执行本身不产生额外费用。

扫描部分按照流量收费,即基于索引查询后扫描命中的数据量收费。

操作方式

重要

在查询日志前,请确保您已采集到日志并创建索引。索引是一种存储结构,用于对日志数据中的一列或多列进行排序。更多信息,请参见创建索引。

控制台

登录日志服务控制台,在目标Logstore的查询和分析页面执行查询操作。具体操作,请参见查询与分析快速指引。

示例

原始日志为1000万条。查询语句:Status:200 | where Category like '%xx%',满足Status:200 且 where Category like '%xx%'的日志1000条。查询结果界面中的直方图(histogram)展示了这1000条符合整个SPL语句条件的日志随时间变化的分布情况。

API

通过GetLogs(返回结果不压缩后传输)、GetLogsV2(返回结果压缩后传输)接口执行查询操作。

相关文章

查询与分析快速指引 2025-04-22 10:58

日志服务提供查询和分析功能,支持秒级查询十亿到千亿级别的日志,并支持通过SQL对查询结果进行统计分析。本文以Nginx日志为例,为您介绍如何快速开启索引,并在控制台完成查询与分析的基本操作。

创建索引 2025-04-22 10:58

如需对采集到Logstore中的日志进行查询和分析,则必须创建索引。本文为您介绍日志服务索引概念、索引类型、创建索引、关闭索引、配置示例和计费说明等。

数据类型 2025-04-22 10:58

您在创建索引时,可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。 数据类型概述 在创建索引时,日志服务提供如下数据类型,请按情况进行选择: text、long、double类型:

重建索引 2025-04-22 10:58

当您需要对历史数据配置索引或修改索引时,可以使用重建索引功能。日志服务支持在选定的时间段中按照最新的索引规则为Logstore重建索引。本文介绍如何在日志服务控制台上重建索引及相关信息。 前提条件 已开启索引。具体操作,请参见创建索引

保留字段 2025-04-22 10:58

在采集日志或投递数据到其他云产品时,日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。

查询语法与功能 2025-04-22 10:58

日志服务Logstore支持使用查询语句对存储在Logstore中的日志进行筛选。筛选结果可独立使用,也可以用于分析语句,进行更复杂的分析处理。本文介绍查询语句的语法结构,以及应用场景和具体示例。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1