收起左侧

关于飞牛自带ollama启动参数调整的问题,目前选择核显还是独显很不智能

0
回复
10
查看
[ 复制链接 ]

3

主题

2

回帖

0

牛值

江湖小虾

我用飞牛自带的ollama,每次启动,我用超过8G的模型,模型就会自动加载去内存,用我的核显跑,如果我用8g以下的模型,就会加载去我的独显,但是我的独显有16G显存。

我问了AI,在终端用了一大堆命令是可以让大于8G的模型跑去独显的,但是每次都这样的话,非常麻烦,有没有办法直接调整飞牛自带ollama的启动参数,让大于8G的模型能在我的独显上跑?

收藏
送赞
分享
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则