为ACS GPU Pod指定GPU型号和驱动版本

GPU型号说明

ACS支持按量申请和容量预留两种方式使用GPU资源。结合容量预留使用时，Pod创建后会自动抵扣容量预留。详细信息，请参见GPU Pod容量预留。

为Pod指定GPU型号

对于GPU型，您需要在Pod的labels和nodeSelector中显式指定GPU型号。具体方式如下。

apiVersion: v1
kind: Pod
metadata:
  labels:
    # 指定compute-class为gpu类型
    alibabacloud.com/compute-class: "gpu"
    # 指定GPU型号为example-model，请按实际情况填写，如T4
    alibabacloud.com/gpu-model-series: "example-model"
  name: gpu-pod
spec:
...

驱动版本说明

GPU应用通常需要依赖CUDA（Compute Unified Device Architecture）运行，CUDA是显卡厂商NVIDIA在2007年推出的并行计算平台和编程模型。下图为CUDA的架构体系，CUDA软件堆栈中的驱动层API和运行时层API有以下区别。

• 驱动层API（Driver API）：功能较完整，但是使用复杂。

• 运行时API（CUDA Runtime API）：封装了部分驱动的API，将某些驱动初始化操作隐藏，使用方便。

CUDA的Driver API由NVIDIA Driver包提供，而CUDA Library和CUDA Runtime由CUDA Toolkit包提供。

在使用ACS Pod运行GPU应用时，您需要注意：

1. 容器镜像中安装CUDA Toolkit时，使用NVIDIA提供的CUDA基础镜像。这些基础镜像已经安装了CUDA Toolkit。您可以基于基础镜像构建应用容器镜像。您也可以根据不同的CUDA Toolkit版本选择不同的CUDA基础镜像。

2. 创建应用时指定Pod所需的驱动版本，详见为Pod指定驱动版本。

3. 关于CUDA Toolkit与NVIDIA驱动的版本兼容性列表，请参见NVIDIA官方文档CUDA Toolkit Release Notes。

为Pod指定驱动版本

ACS支持在应用使用GPU资源时，通过Pod的label标签指定驱动版本，具体格式如下。

apiVersion: v1
kind: Pod
metadata:
  labels:
    # 指定compute-class为gpu类型
    alibabacloud.com/compute-class: "gpu"
    # 指定GPU型号为example-model，请按实际情况填写，如T4
    alibabacloud.com/gpu-model-series: "example-model"
    # 指定驱动版本为535.161.08
    alibabacloud.com/gpu-driver-version: "535.161.08"
  name: gpu-pod
spec:
...

操作示例

1. 使用以下YAML内容，创建acs-pod-with-model-and-driver.yaml文件，文件中描述了一个compute-class为GPU的Pod，申请型号为example-model的GPU资源和535.161.08驱动版本。

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: acs-pod-with-model-and-driver
     namespace: default
     labels:
       app: acs-pod-with-model-and-driver
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: acs-pod-with-model-and-driver
     template:
       metadata:
         name: acs-pod-with-model-and-driver
         labels:
           app: acs-pod-with-model-and-driver
           # 指定acs 算力
           alibabacloud.com/acs: "true"
           # 指定compute-class为gpu类型
           alibabacloud.com/compute-class: "gpu"
           # 指定GPU型号为example-model，请按实际情况填写，如T4
           alibabacloud.com/gpu-model-series: "<example-model>"
           # 指定驱动版本为535.161.08
           alibabacloud.com/gpu-driver-version: "535.161.08"
       spec:
         containers:
         - image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5
           name: tensorflow-mnist
           command:
           - sleep
           - infinity
           resources:
             requests:
               cpu: 1
               memory: 1Gi
               nvidia.com/gpu: 1
             limits:
               cpu: 1
               memory: 1Gi
               nvidia.com/gpu: 1    

2. 执行以下命令，将acs-pod-with-model-and-driver.yaml部署到集群。

   kubectl apply -f acs-pod-with-model-and-driver.yaml

3. 执行以下命令，查看Pod状态。

   kubectl get pod

   预期输出：

   NAME                                             READY   STATUS    RESTARTS   AGE
   acs-pod-with-model-and-driver-7b89cbf4cf-2w66p   1/1     Running   0          6m26s

4. 执行以下命令，查看Pod的GPU信息。

   说明

   以下命令中的/usr/bin/nvidia-smi为样例镜像中已经封装好的命令参数。

   kubectl exec -it acs-pod-with-model-and-driver-7b89cbf4cf-2w66p -- /usr/bin/nvidia-smi

   预期输出：

   +---------------------------------------------------------------------------------------+
   | NVIDIA-SMI xxx.xxx.xx             Driver Version: 535.161.08   CUDA Version: xx.x     |
   |-----------------------------------------+----------------------+----------------------+
   ...
   |=========================================+======================+======================|
   |   x  NVIDIA example-model           xx  | xxxxxxxx:xx:xx.x xxx |                    x |
   | xxx   xxx    xx              xxx / xxxx |      xxxx /       xxx|      x%      xxxxxxxx|
   |                                         |                      |                  xxx |
   +-----------------------------------------+----------------------+----------------------+

   预期输出的信息中GPU型号为example-model，驱动版本为535.161.08，与Pod标签中配置一致。

   重要

   以上内容只是样例输出，实际数据以您的操作环境为准。