帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. 阿里云
  3. 日志服务
  4. 操作指南
  5. 数据采集
  6. 云产品日志采集
  7. 开源大数据平台E-MapReduce日志

开源大数据平台E-MapReduce日志

  • 云产品日志采集
  • 发布于 2025-04-22
  • 0 次阅读
文档编辑
文档编辑

阿里云开源大数据平台E-Mapreduce(EMR)联合日志服务推出日志功能,用于将EMR日志投递到日志服务进行查询分析。本文介绍EMR日志相关的资产、费用、使用限制以及如何在EMR控制台中开启日志投递功能,将EMR日志投递到日志服务中。

资产详情

  • 自定义的Project和专属Logstore

    您可以自定义一个Project,系统将在该Project下生成名为emr_EMR服务名称_log的专属Logstore。例如您要投递host服务的日志,则对应的Logstore为emr_host_log。

    重要
    • 在停用日志功能前,请勿删除EMR日志相关的日志服务Project和Logstore,否则将导致已存储的日志被清除,且新日志无法被投递到日志服务。

    • 若您曾开通过按写入数据量计费模式,则系统默认创建计费模式为按写入数据量计费的专属Logstore。若您需要切换至按使用功能计费模式,可修改Logstore配置。具体操作,请参见修改Logstore配置。

  • 专属仪表盘

    无专属仪表盘,您可以自定义仪表盘用于查询结果展示。具体操作,请参见创建仪表盘。

费用说明

  • 目前,EMR不针对管理日志功能收取费用。

  • 当Logstore的计费模式为按使用功能计费时,推送EMR日志到日志服务后,日志服务根据存储空间、读取流量、请求数量、数据加工、数据投递等进行收费。更多信息,请参见按使用功能计费模式计费项。

  • 当Logstore的计费模式为按写入数据量计费时,推送EMR日志到日志服务后,日志服务将根据原始写入数据量等进行收费。更多信息,请参见按写入数据量计费模式计费项。

使用限制

  • 日志管理功能仅适用于新版数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)和数据湖(Hadoop)场景的集群。

  • 支持日志投递的服务包括hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss和host(主机)。

开启日志投递

注意事项

  • 日志存储及索引流量费用等按照标准收费,由日志服务(SLS)单独收费,具体操作请参见计费项。

  • 如果您使用的是RAM用户,请使用阿里云账号登录RAM控制台,为RAM用户授予AliyunLogFullAccess和AliyunRAMFullAccess权限,具体操作请参见为RAM用户授权。

  1. 进入日志管理页面。

    1. 登录E-MapReduce控制台。

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组。

    3. 在EMR on ECS页面,单击目标集群的集群ID。

    4. 单击上方的日志管理页签。

  2. 配置日志投递范围。

    1. 在日志管理页面,单击右侧的设置日志投递范围。

      log

    2. 在弹出的对话框中,配置日志存储的Project。

      您可以选择已有Project或者新建Project。

      重要

      Project一经选择不可变更。

    3. 勾选需要日志投递的服务,单击确定。

  3. 查看服务日志。

    1. 在请选择EMR服务下拉框中选择您需要查看日志的服务。

    2. 在日志界面对日志进行分析。

      您可以指定时间段和查询语句进行实时查询。例如,可快速分析某一个字段在一段时间内的分布情况,您也可以按条件过滤或统计您希望查看的访问记录。

关闭日志投递

重要

关闭实时日志投递不会自动删除Project。因此,当您关闭日志投递后,为避免后续产生不必要的费用,请前往日志服务控制台删除开通日志投递时选择的Project。具体操作,请参见管理Project。

当您确认不再需要保留日志数据时,可以按照如下步骤关闭实时日志查询。

  1. 在日志管理页面,单击右侧的关闭日志投递。

  2. 在弹出的对话框中,单击OK。

相关操作

操作

说明

设置日志投递范围

在日志管理页签下,单击设置日志投递范围,修改待投递日志的服务。

关闭日志投递

在日志管理页签下,单击关闭日志投递。

重要

关闭日志投递后,系统不会自动删除Project及已推送的日志。因此,当您关闭日志投递后,为避免后续产生不必要的费用,请在日志服务控制台上删除对应的Project。具体操作,请参见删除Project。

后续步骤

将EMR日志投递到日志服务后,您可以在日志服务中执行查询分析、下载、投递、加工、告警等操作。具体操作,请参见云产品日志通用操作。

相关文章

云产品日志通用操作 2025-04-22 11:03

您在各个云产品控制台开通日志功能后,即可执行日志服务相关操作。 常用操作 采集到云产品日志后,您可以执行如下操作。

ACK One日志 2025-04-22 11:03

分布式云容器平台ACK One联合日志服务推出日志功能,支持将主控实例控制平面组件日志和审计日志、GitOps控制面日志与审计日志推送到日志服务进行查询分析。本文介绍日志功能相关的资产、费用等信息。 资产详情 专属Project和Logstor

开启主控实例控制平面组件日志及审计日志功能 2025-04-22 11:03

本文介绍如何在分布式云容器平台控制台中开启主控实例控制平面组件日志及审计日志功能,将相关日志投递到日志服务中。 前提条件 已创建ACK集群。具体操作,请参见创建集群。 操作步骤

开启GitOps控制面日志与审计日志功能 2025-04-22 11:03

本文介绍如何通过CLI开启GitOps控制面日志与审计日志功能,将相关日志投递到日志服务中。 前提条件 已在ACK One主控实例中开启GitOps。具体操作,请参见在ACK One主控实例中开启GitOps。 已开启ACK On

ACK托管集群Pro版控制平面组件日志 2025-04-22 11:03

阿里云容器服务Kubernetes版联合日志服务推出组件日志功能,支持将ACK Pro版集群控制平面组件日志投递到日志服务进行查询分析。本文介绍ACK Pro版集群控制平面组件日志相关的资产、费用,以及如何在容器服务ACK控制台中开启ACK Pro版集群控制平面组件日志功能,将相关日志投递到日志服务

ACK Serverless集群Pro版控制平面组件日志 2025-04-22 11:03

阿里云容器服务Kubernetes版联合日志服务推出组件日志功能,支持将ACK Serverless集群Pro版控制平面组件日志投递到日志服务进行查询分析。本文介绍ACK Serverless集群Pro版控制平面组件日志相关的资产、费用,以及如何在容器服务ACK控制台中开启

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1