欢迎光临

如何把自己的 GPU 主机接入 AutoDL 私有云,创建第一个实例

实验室只有一台带显卡的服务器,也可以让成员从 AutoDL 私有云创建实例。整件事有三个可以独立核对的结果:Linux 主机认出了卡,租户后台出现可分配的主机,成员在自己创建的容器中看见了分到的 GPU。只看到主机“在线”,还差最后一步。

这里的“上架”指把主机加到自己的私有云租户,供获准的成员使用。准备一台已装 NVIDIA 驱动、能访问互联网的 Linux 服务器,一个私有云管理员账号,以及一个普通成员账号。下面以实验室内网访问、Ubuntu 单机兼任代理为例。AutoDL 私有云适用范围

先留下物理机的显卡记录

在准备接入的服务器上运行以下命令。多卡机器保留每一行。稍后在成员的实例里再查一次,UUID 能区分同型号的两张卡。这里演示整卡分配。

uname -m
nvidia-smi --query-gpu=index,name,uuid,memory.total,driver_version --format=csv
df -h /

如果宿主机上的查询已经报驱动通信错误,先处理驱动。磁盘也值得先看一眼:后面要下载镜像,容器数据放在系统盘还是独立数据盘,应在首次安装 worker 时决定。已有 Docker 工作负载的机器,先记录当前的存储目录,再决定是否沿用。

同一块 RTX 2080 Ti 在 Windows 宿主机和普通 Linux Docker 容器中均报告 11264 MiB 显存。这是接入 AutoDL 前的本机检查。
同一块 RTX 2080 Ti 在 Windows 宿主机和普通 Linux Docker 容器中均报告 11264 MiB 显存。这是接入 AutoDL 前的本机检查。

让管理员后台发现这台机器

  1. 登录 AutoDL 私有云,创建或进入自己的租户。在管理员后台打开配置 → agent 服务配置。取本租户的 worker 配置,按注释填写本机信息,保存到 GPU 主机的 /etc/privatecloud/worker-agent.yaml。配置含租户凭据,不要放进共享目录或截图。
  2. 从官方部署页选取与 uname -m 对应的 pct 工具并赋予执行权限。x86_64 和 ARM64 是两个文件,只取本机那一个。worker 负责识别硬件和创建容器,跨主机传输用的 ft 服务会一起装好。
  3. 在 GPU 主机执行下方命令。若是首次部署并已准备专用数据盘,可按官方说明在安装时指定 Docker 数据目录。看到服务运行后,回到管理后台找到新增主机,核对 GPU 型号、数量及可分配资源,再编辑主机信息并上架。官方安装工具、配置路径及上架说明
sudo pct install worker-agent
systemctl is-active worker-agent.service

给成员留一条能连到容器的路

成员使用 SSH 或 JupyterLab 时,连接会经过 proxy。单机实验室可把 proxy 装在同一台 Ubuntu 主机上,每个集群部署一个即可。从同一后台取 proxy 配置,保存为 /etc/privatecloud/proxy-agent.yaml,然后运行:

sudo pct install proxy-agent
systemctl is-active proxy-agent.service

进入配置 → 初始化配置 → proxy agent IP 地址和端口范围,填写成员和 GPU 主机都能到达的地址。只在实验室用,就填实际可达的内网地址。按官方说明让相应内网来源能访问代理的 7007 端口和所配置的实例映射端口段。工作节点能出网下载镜像,与成员电脑能连上代理,是两次不同方向的连接。

用普通成员账号创建第一台实例

管理员把测试账号加入租户,核对该成员至少可以使用一张 GPU、创建一个实例。若租户启用了虚拟余额计量,给测试账号分配足够余额。随后切换到成员视图,在创建实例的入口选择刚上架的主机或对应资源、一张 GPU和一个基础镜像。等实例运行后,从详情页给出的入口打开终端。成员配额与虚拟余额

nvidia-smi --query-gpu=name,uuid,memory.total --format=csv
printf 'instance shell OK\n'

把终端里的 GPU UUID 与第一步对照。能进入终端,说明成员到实例的访问链路走通;看到预期的 UUID 和显存,说明这台实例获得了预期的卡。第一次验收后可以关机,再到管理端核对资源占用,确认测试任务已经结束。

卡在哪一步先看哪里
主机里有卡,后台没有新增主机看 worker 服务状态和最近日志;核对配置属于当前租户。
管理员看得到主机,成员看不到卡核对主机已上架、尚有空闲卡,成员的用卡数和实例数允许本次创建。
实例已运行,终端连接超时从成员所在网络检查 proxy 地址和映射端口,再看 proxy 服务日志。
能进终端,但查不到显卡先确认创建时选了一张 GPU;若提示命令不存在,换带 NVIDIA 工具的镜像或用已有框架查询设备。

定位具体服务时,可在该服务所在主机运行 journalctl -u worker-agent.service -n 40 或 journalctl -u proxy-agent.service -n 40。AutoDL 服务与日志说明

【本站文章皆为原创,未经允许不得转载】:汤不热吧 » 如何把自己的 GPU 主机接入 AutoDL 私有云,创建第一个实例
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址