收起左侧

适配ollama显卡驱动

1
回复
19
查看
[ 复制链接 ]

8

主题

2

回帖

0

牛值

系统先锋体验团🛩️

目前通过应用中心安装的ollama无法调用独立显卡,仅以前某个系统版本可以支持调用独立显卡,后续所有系统版本均不支持,我已经忘记了具体是某个版本支持了,至今已有半年。

我的硬件设备是:

主机:MS-01

显卡:RTX4070lp 8GB

我的系统版本是:V1.2.0401

我的ollama版本是:1.2.0

显卡驱动版本:NVIDIA Driver 580:1.0.34;NVIDIA Container Toolkit:1.18.2

在ollama中调用模型后输入问题即开始调用CPU的核显,且ollama无法设置指定调用某个GPU,期望予以更新合适的驱动或指导我进行设置。

收藏
送赞
分享

7

主题

1万

回帖

0

牛值

管理员

社区上线纪念勋章社区共建团荣誉勋章飞牛百度网盘玩家fnOS1.0上线纪念勋章

感谢反馈。
Ollama 的 GPU 调用情况,通常会受到显卡驱动、CUDA 环境、容器 GPU 调用配置以及应用运行环境等多个因素影响。

您反馈的 RTX 4070 未被调用、模型推理使用 CPU/核显的问题我们已经记录。由于涉及 NVIDIA 驱动、容器环境以及 Ollama 运行配置,需要结合具体环境进一步排查。

建议您可以先确认系统中是否能够正常识别 NVIDIA GPU,以及 Ollama 运行环境是否已正确获得 GPU 访问权限。相关问题我们会进一步关注和评估。

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则