微信扫码登录
8
2
0
系统先锋体验团🛩️
目前通过应用中心安装的ollama无法调用独立显卡,仅以前某个系统版本可以支持调用独立显卡,后续所有系统版本均不支持,我已经忘记了具体是某个版本支持了,至今已有半年。
我的硬件设备是:
主机:MS-01
显卡:RTX4070lp 8GB
我的系统版本是:V1.2.0401
我的ollama版本是:1.2.0
显卡驱动版本:NVIDIA Driver 580:1.0.34;NVIDIA Container Toolkit:1.18.2
在ollama中调用模型后输入问题即开始调用CPU的核显,且ollama无法设置指定调用某个GPU,期望予以更新合适的驱动或指导我进行设置。
7
1万
管理员
举报
感谢反馈。 Ollama 的 GPU 调用情况,通常会受到显卡驱动、CUDA 环境、容器 GPU 调用配置以及应用运行环境等多个因素影响。
您反馈的 RTX 4070 未被调用、模型推理使用 CPU/核显的问题我们已经记录。由于涉及 NVIDIA 驱动、容器环境以及 Ollama 运行配置,需要结合具体环境进一步排查。
建议您可以先确认系统中是否能够正常识别 NVIDIA GPU,以及 Ollama 运行环境是否已正确获得 GPU 访问权限。相关问题我们会进一步关注和评估。
本版积分规则 发表回复
飞牛私有云社区上线,晒NAS活动纪念勋章
飞牛社区组织荣誉认证,为飞牛私有云社区发展无私奉献,发光发热
参与“极速下载,畅享特权”百度网盘活动纪念
飞牛fnOS 1.0 上线,晒体验活动纪念勋章