帮助文档 Logo
平台使用
阿里云
百度云
移动云
智算服务
教育生态
登录 →
帮助文档 Logo
平台使用 阿里云 百度云 移动云 智算服务 教育生态
登录
  1. 首页
  2. ACK Gateway with Inference Extension

ACK Gateway with Inference Extension

  • 发布于 2025-04-17
  • 0 次阅读
文档编辑
文档编辑

ACK Gateway with Inference Extension组件是基于Kubernetes社区Gateway API及其Inference Extension规范实现的增强型组件,支持Kubernetes四层/七层路由服务,并提供面向Inference大语言模型(LLM)推理场景的智能负载均衡能力。本文介绍ACK Gateway with Inference Extension组件的信息、使用说明和变更记录。

组件信息

ACK Gateway with Inference Extension组件基于Envoy Gateway项目构建,兼容Gateway API功能,集成了Gateway API提供的推理扩展。主要用于提供LLM推理服务的负载均衡和路由功能。

使用说明

ACK Gateway with Inference Extension组件的安装和使用依赖于Gateway API组件提供的CRD,安装前请确保集群中已经安装Gateway API组件。具体操作,请参见安装组件。

说明

ACK Gateway with Inference Extension目前仅对白名单用户开放。如果您在控制台的组件管理页面找不到该组件,请提交工单申请。

变更记录

2025年03月

版本号

变更时间

变更内容

变更影响

v1.3.0-aliyun.1

2025年03月12日

  • 支持 Gateway API v1.2。

  • 支持 Inference Extension,提供面向 Inference 大语言模型(LLM)推理场景的智能负载均衡能力。

此次升级不会对业务造成影响。

目录
Copyright © 2025 your company All Rights Reserved. Powered by 博智数字服务平台.
闽ICP备08105208号-1