帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 查询与分析
  6. 通过索引模式查询和分析日志
  7. SQL独享版

SQL独享版

  • 通过索引模式查询和分析日志
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

当数据量较大时,SQL普通版可能存在查询不完整的情况。SQL独享版通过增加计算资源,显著提升单次分析性能和数据量上限。本文介绍SQL独享版的概念、原理、费用及使用限制。

为什么要使用SQL独享版

普通查询的局限性

普通查询在超大规模数据处理时存在以下局限:

  • 结果不精确:资源限制(如时间片、IO、数据量)可能导致部分数据未加载,影响统计准确性。

  • 性能瓶颈:单Shard仅支持400MB数据量,TB级日志量或更高并发的分析需求可能会受限。

  • 资源竞争:多租户共享资源,可能会出现局部的资源竞争。

SQL独享版的核心价值

增强模式:高性能与高并发

增强模式适合实时性和高并发需求的场景,核心特点包括:

  • 性能提升:单节点处理能力达2GB,最大支持100并发。

  • 弹性伸缩:按需动态分配资源,存储和计算能力可弹性伸缩。

  • 典型场景:实时监控(如API成功率告警)、高并发点查分析。

完全精确

完全精确模式适合对结果精度要求极高的场景,核心特点包括:

  • 零误差保证:通过时间换资源策略,确保数据完整加载。

  • 独享资源:稳定运行直至完成或超时。

  • 典型场景:严肃分析场景,如财务对账、安全审计、超长时间周期、超大规模趋势分析等。

重要

SQL最大执行时间为55秒,并发上限为5。

对比维度

增强模式

完全精确模式

核心目标

性能加速

结果精确

资源策略

共享资源池、弹性伸缩

独享资源池 + 时间换精度

典型场景

实时监控、高并发分析

严肃分析场景,如财务对账、安全审计、超长时间周期、超大规模趋势分析等。

精度容忍

允许有限误差

零误差刚性需求

SQL独享版介绍

SQL增强

日志服务中的数据必定保存在某一个分区(Shard)。当使用SQL分析时,单个分区(Shard)的数据处理能力有限,如果数据规模过大,可能会存在性能问题或数据扫描过程被截断。增加Shard数量可以提升读写能力,但只对新写入的数据生效,而且可能导致实时消费的客户端过多。SQL增强在资源调度上实现弹性伸缩,使SQL分析能力得以动态提升,典型场景包括:

  • 分析性能要求高的场景,例如实时数据分析。

  • 长周期的数据分析场景,例如月维度的数据分析。

  • 超大规模的数据分析场景,例如千亿行数据的分析。

  • 高并发的数据分析场景,例如多指标多维度(SQL并发数大于15)的报表分析、点查分析。

SQL完全精确

日志服务在进行超大规模数据分析时,以下几种情况可能导致数据加载中断:

  1. 时间片耗尽:分配的时间资源用完。

  2. 数据量超过阈值:加载的数据总量超出限制。

  3. 数据行数超过阈值:加载的行数超出限制。

  4. IO操作次数超过阈值:数据的磁盘读取次数超出限制。

这些情况均可能导致部分数据未能完全加载,从而影响最终结果的精确性,SQL完全精确可以解决这些问题。典型的场景包括:

  1. 业务监控告警:关键业务监控要求数据分析结果精确。

  2. 业务运营分析:严肃分析场景,如涉及营收、财务、留存、转化等关键指标的分析。

  3. 在线数据服务:基于SQL分析结果对外部用户提供数据服务,要求分析结果必须准确无误。

计费信息

按照SQL分析时实际使用的CPU时间计算。单位为核×小时,即1核计算资源独享使用1小时的费用。更多信息,请参见SQL独享版计费案例。

  • 按量付费:SQL独享版费用=CPU时间(小时)×每小时单价

  • 资源包:新版资源包(预付计划2.0),换算成资源额度(CU)进行抵扣。

分析功能使用限制

限制项

普通实例

SQL独享实例

SQL增强

完全精确

并发数

单个Project支持的最大查询并发数为15个。

单个Project支持的最大查询并发数为100个。

单个Project支持的最大查询并发数为5个。

数据量

单次查询分析最大支持扫描400MB日志数据(不包含缓存数据),超过部分截断,标记为查询结果不精确。

单次查询分析最大支持扫描2GB日志数据(不包含缓存数据),超过部分截断,标记为查询结果不精确。

无限制。

开启模式

默认开启。

通过开关开启。具体操作,请参见SQL增强。

通过开关开启。具体操作,请参见SQL完全精确。

费用

免费。

根据实际使用的CPU时间付费。

根据实际使用的CPU时间付费。

数据生效机制

分析功能只对开启统计功能后写入的数据生效。

如果您需要分析历史数据,请对历史数据重建索引。

分析功能只对开启统计功能后写入的数据生效。

如果您需要分析历史数据,请对历史数据重建索引。

分析功能只对开启统计功能后写入的数据生效。

如果您需要分析历史数据,请对历史数据重建索引。

返回结果

执行分析操作后,默认最多返回100行数据,最大返回100MB的数据,超过100MB的分析语句会报错。

如果您需要返回更多数据,请使用LIMIT子句。

执行分析操作后,默认最多返回100行数据,最大返回100MB的数据,超过100MB的分析语句会报错。

如果您需要返回更多数据,请使用LIMIT子句。

执行分析操作后,默认最多返回100行数据,最大返回100MB的数据,超过100MB的分析语句会报错。

如果您需要返回更多数据,请使用LIMIT子句。

字段值大小

单个字段值最大长度的默认值为 2 KB(2048字节),可调整配置最高支持 16 KB(16384字节),但超出部分将不再参与日志分析和检索操作。

说明

如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索·引。

单个字段值最大长度的默认值为 2 KB(2048字节),可调整配置最高支持 16 KB(16384字节),但超出部分将不再参与日志分析和检索操作。

说明

如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索·引。

单个字段值最大长度的默认值为 2 KB(2048字节),可调整配置最高支持 16 KB(16384字节),但超出部分将不再参与日志分析和检索操作。

说明

如果您需要修改字段值的最大长度,可设置统计字段(text)最大长度。更新索引设置只对增量数据有效。具体操作,请参见创建索·引。

超时时间

分析操作的最大超时的时间为55秒。

分析操作的最大超时的时间为55秒。

分析操作的最大超时的时间为55秒。

Double类型的字段值位数

Double类型字段值最多52位。

如果浮点数编码位数超过52位,会造成精度损失。

Double类型字段值最多52位。

如果浮点数编码位数超过52位,会造成精度损失。

Double类型字段值最多52位。

如果浮点数编码位数超过52位,会造成精度损失。

相关文章

查询与分析快速指引 2025-04-22 10:58

日志服务提供查询和分析功能,支持秒级查询十亿到千亿级别的日志,并支持通过SQL对查询结果进行统计分析。本文以Nginx日志为例,为您介绍如何快速开启索引,并在控制台完成查询与分析的基本操作。

创建索引 2025-04-22 10:58

如需对采集到Logstore中的日志进行查询和分析,则必须创建索引。本文为您介绍日志服务索引概念、索引类型、创建索引、关闭索引、配置示例和计费说明等。

数据类型 2025-04-22 10:58

您在创建索引时,可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。 数据类型概述 在创建索引时,日志服务提供如下数据类型,请按情况进行选择: text、long、double类型:

重建索引 2025-04-22 10:58

当您需要对历史数据配置索引或修改索引时,可以使用重建索引功能。日志服务支持在选定的时间段中按照最新的索引规则为Logstore重建索引。本文介绍如何在日志服务控制台上重建索引及相关信息。 前提条件 已开启索引。具体操作,请参见创建索引

保留字段 2025-04-22 10:58

在采集日志或投递数据到其他云产品时,日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。

查询语法与功能 2025-04-22 10:58

日志服务Logstore支持使用查询语句对存储在Logstore中的日志进行筛选。筛选结果可独立使用,也可以用于分析语句,进行更复杂的分析处理。本文介绍查询语句的语法结构,以及应用场景和具体示例。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1