帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 查询与分析
  6. 通过索引模式查询和分析日志
  7. 关联外部数据源

关联外部数据源

  • 通过索引模式查询和分析日志
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

日志服务提供外部存储功能,可用于日志服务与MySQL数据库、阿里云对象存储OSS、托管的CSV文件进行关联。本文介绍日志服务外部存储功能的应用场景、功能优势等信息。

应用场景

在日志分析场景中,您可能经常遇到数据分散存储的问题,例如用户操作、行为等相关数据存储在日志服务中,用户属性、注册信息、资金、道具等相关数据存储在数据库中。类似场景下,您需要对用户进行分层统计,将最后的计算结果写入到数据库提供的报表系统中。

针对上述场景,传统做法是将数据迁移到统一的存储系统中,再进行分析。在迁移过程中既涉及网络传输,又涉及数据的清洗和格式化,耗时又耗精力。日志服务提供的外部存储API支持以下功能:

  • 通过API为外部存储定义映射,不需要迁移数据。

  • 提供统一的查询分析引擎,支持通过JOIN语法对日志、外部存储等多种数据源进行联合查询。

  • 支持将多种分析结果保存到外部存储中。

功能优势

  • 节省成本

    • 节省数据迁移成本。不同存储系统的格式和API都不同,在迁移过程中涉及到复杂的数据转换。使用日志服务外部存储无需搬迁数据。

    • 节省数据维护成本。如果采用迁移数据方式,如果有数据更新,需及时维护。

  • 方便快捷

    • 通过SQL语句分析数据,实现秒级别获得分析结果。

    • 将常用视图添加到仪表盘,打开仪表盘页面即可快速查看相关信息。

支持的外部存储

外部存储功能支持日志服务与MySQL数据库、阿里云OSS、托管的CSV文件建立关联,详细信息如下表所示。

外部存储名称

从外部数据源读取

写入外部数据源

创建方式

地域

MySQL

支持

支持

API、SDK、CLI

所有地域

OSS

支持

支持

SQL create table

所有地域

托管的CSV文件

支持

不支持

SDK

华东2(上海)

相关文档

  • 关联MySQL数据源

  • 关联OSS数据源

  • 关联托管的CSV数据源

相关文章

查询与分析快速指引 2025-04-22 10:58

日志服务提供查询和分析功能,支持秒级查询十亿到千亿级别的日志,并支持通过SQL对查询结果进行统计分析。本文以Nginx日志为例,为您介绍如何快速开启索引,并在控制台完成查询与分析的基本操作。

创建索引 2025-04-22 10:58

如需对采集到Logstore中的日志进行查询和分析,则必须创建索引。本文为您介绍日志服务索引概念、索引类型、创建索引、关闭索引、配置示例和计费说明等。

数据类型 2025-04-22 10:58

您在创建索引时,可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。 数据类型概述 在创建索引时,日志服务提供如下数据类型,请按情况进行选择: text、long、double类型:

重建索引 2025-04-22 10:58

当您需要对历史数据配置索引或修改索引时,可以使用重建索引功能。日志服务支持在选定的时间段中按照最新的索引规则为Logstore重建索引。本文介绍如何在日志服务控制台上重建索引及相关信息。 前提条件 已开启索引。具体操作,请参见创建索引

保留字段 2025-04-22 10:58

在采集日志或投递数据到其他云产品时,日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。

查询语法与功能 2025-04-22 10:58

日志服务Logstore支持使用查询语句对存储在Logstore中的日志进行筛选。筛选结果可独立使用,也可以用于分析语句,进行更复杂的分析处理。本文介绍查询语句的语法结构,以及应用场景和具体示例。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1