有没有好的教程用飞牛可以使用780m核显的ollama安装教程

boboshu

有没有好的教程用飞牛可以使用780m核显的ollama安装教程

求好心人指路！

七月七夕

boboshu 发表于 2025-6-3 21:54
要不就浪费了！应该能跑吧 听说效果还不错

780M 顶多千问得1.5B 就拿性能做个支持库，其他得就别想了

七月七夕

额................你想拿核显来跑ai项目？？？？？？？？，你是不是高看你这个780M了

boboshu

七月七夕 发表于 2025-6-3 10:23
额................你想拿核显来跑ai项目？？？？？？？？，你是不是高看你这个780M了 ...

要不就浪费了！应该能跑吧 听说效果还不错

boboshu

七月七夕 发表于 2025-6-3 23:24
780M 顶多千问得1.5B 就拿性能做个支持库，其他得就别想了

有个参考https://www.bilibili.com/video/BV1ZfFUeoEKR 我刚入门！看他们windows 跑还行，我也是64G内存 想折腾玩玩

boboshu

七月七夕

boboshu 发表于 2025-6-4 00:48
有个参考https://www.bilibili.com/video/BV1ZfFUeoEKR 我刚入门！看他们windows 跑还行，我也是64G内存  ...

那就ollam安装直接拉模型，不过我记得肥牛的ollma好久没更新了，，，，，，，，

boboshu

七月七夕 发表于 2025-6-4 12:06
那就ollam安装直接拉模型，不过我记得肥牛的ollma好久没更新了，，，，，，，， ...

自带的不太行，默认只能cpu算,也没找到教程怎么弄 就来求助

七月七夕

boboshu 发表于 2025-6-5 01:06
自带的不太行，默认只能cpu算,也没找到教程怎么弄 就来求助

要不等ollma更新，要么你ssh自己折腾.......只能这样了

Fritz

version: '3.8'
services:
  ollama:
    image: ollama/ollama:rocm  # 使用 ROCm 专用镜像
    container_name: ollama
    environment:
      - HSA_OVERRIDE_GFX_VERSION=11.0.0  # 强制识别为 gfx1100
      - HIP_VISIBLE_DEVICES=0
      - OLLAMA_GPU_LAYERS=all
      - HSA_ENABLE_SDMA=0
    devices:
      - "/dev/kfd:/dev/kfd"
      - "/dev/dri:/dev/dri"
      - "/dev/dri/renderD128:/dev/dri/renderD128"
    ports:
      - "11434:11434"           # API 端口
    volumes:
      - "/vol1/1000/docker/ollama/models:/root/.ollama"

参考上述代码，修改自己的volumes挂载

Chrinly丶

Fritz 发表于 2025-7-25 15:40
version: '3.8'
services:
  ollama:

试了一下调用的时候gpu使用率没有上去，好像不生效。8745hs迷你主机

Fritz

Chrinly丶 发表于 2025-8-7 16:21
试了一下调用的时候gpu使用率没有上去，好像不生效。8745hs迷你主机

这是飞牛的BUG，实际你使用命令行去查询GPU占用，是可以看到占满了GPU资源的，CPU占用率很低，并且速度比纯CPU快很多。说明是生效了的
并且还有一个，ROCM在核显时，不会占用显存，而是使用内存映射，速度还是比CPU快很多的。