微信扫码登录
3
2
0
江湖小虾
我用飞牛自带的ollama，每次启动，我用超过8G的模型,模型就会自动加载去内存,用我的核显跑,如果我用8g以下的模型，就会加载去我的独显，但是我的独显有16G显存。
我问了AI,在终端用了一大堆命令是可以让大于8G的模型跑去独显的,但是每次都这样的话,非常麻烦,有没有办法直接调整飞牛自带ollama的启动参数,让大于8G的模型能在我的独显上跑?
本版积分规则 发表回复
