微信扫码登录
2
1
0
江湖小虾
各位大佬,有一个问题,我用飞牛自带的ollama,每次启动,我用超过8G的模型,模型就会自动加载去内存,用我的核显跑,如果我用8g以下的模型,就会加载去我的独显,但是我的独显有16G显存,这是什么情况有人知道吗?我问了AI,在终端用了一大堆命令是可以让大于8G的模型跑去独显的,但是每次都这样的话,非常麻烦,有没有办法直接调整飞牛自带ollama的启动参数,让大于8G的模型能在我的独显上跑?
我来回答
本版积分规则 发表回复