让飞牛的显卡不休息，顺便跑个AI（gpustack）分享一下安装过程

李长风

前言

1. 最近把730xd服务器上唯一的一张NVIDIA Tesla T10 16G直通给飞牛跑相册AI和影视解码。但是我没卡跑向量和重排了。想着不能让显卡闲着啊，正好看到飞牛应用商店有个插件，没错它就是让docker也能用显卡的NVIDIA Container Toolkit。
2. 
3. 底层环境：PVE8.4.19，飞牛是虚拟机，直通了一个T10(CUDA 3584 | 16GB |TDP 150W | 核心 1065-1595MHz | 显存 6300MHz | FP16 90-106T | FP32 11-12T |NVLink 无|物理机关闭fastboot 关闭VT-D后可以开P2P)
4. 用途：AI相册、影视转码、通过GPUSTACK跑向量模型和重排模型。
5. PS：特殊点在于我在飞牛上运行的是GPUSTACK的work节点。命令是由GPUSTACK主节点自动生成。

开始干了

1. 在飞牛的应用商店里面安装好驱动【实测需要选其他显卡才行，装完驱动先重启飞牛】

2. 

3. 安装 NVIDIA Container Toolkit。安装完毕以后必须重启飞牛。

4. 打开docker管理界面。到本地镜像，点右上角添加镜像。

5. 添加下载链接（就是镜像下载的名字）：docker.1ms.run/gpustack/gpustack:v2.2.0rc2 （国内毫秒镜像加速下载）

6. 

7. 确定镜像下载完毕以后。大概8.87GB，需要通过ssh去启动容器,先准备SSH客户端并登录，执行sudo -i提权到root，gputack需要特权启动容器，启动的AI是通过work容器去启动独立的镜像。如下图我跑的情况（由于我不懂这个可视化界面怎么配置一堆变量，索性用命令行一行命令启动了）

8. 

9. 

10. 到GPUSTACK服务节点获取work工作节点启动命令，先选择显卡类型，我是NVIDIA的。

11. 

12. 根据提示，在ssh终端使用命令检查环境：nvidia-smi >/dev/null 2>&1 && echo "NVIDIA driver OK" || (echo "NVIDIA driver issue"; exit 1) && sudo docker info 2>/dev/null | grep -q "Runtime.*nvidia" && echo "NVIDIA Container Toolkit OK" || (echo "NVIDIA Container Toolkit not configured"; exit 1)

13. 

14. 环境ok以后下一步，在节点IP这个地方写飞牛的IP（就是容器宿主机的IP）

15. 获取work节点启动容器的命令（这里要注意一下，确认一下服务节点的iP和work节点ip是否正确）：
    

16. 把命令复制到ssh终端执行即可搞定。等十来秒服务启动完毕以后能在管理界面看到飞牛的这个节点。
    

17. 这个时候已经可以用了。去部署界面配置参数就可以使用了。我一般是手动选择GPU，这里有个踩坑的地方，要使用的后端比如我这个LLAMA.cpp，需要提前去把这个后端的镜像拉取到飞牛上，避免超时报错。
    

18. 启动完毕以后就可以通过【试验场】测试模型

19. 调用API在路由里面找到要调用的模型，打开API接入信息

    
    

20. 现在可以开始使用了。包括dify、mrdoc文档管理都可以通过openAI兼容的API接口进行调用。
    

后记

1. GPUSTACK的work节点和server节点共用的同一个镜像，以下是我单独启动gputack server节点的命令以作参考：
2. sudo docker run -d --name gpustack-server --restart unless-stopped -p 80:80 --volume /data/gpustack:/var/lib/gpustack gpustack/gpustack:v2.2.0rc2 --model-catalog-file=/usr/local/lib/python3.11/dist-packages/gpustack/assets/model-catalog-modelscope.yaml
3. GPUSTACKgithub地址：https://github.com/gpustack/gpustack/
4. GPUSTACK常见问题：https://p0p8qa0c0s.feishu.cn/wiki/U3rfw356JitxN3kQeyOcrabInAg