在docker用intel arc pro b50显卡跑小模型

罗xx

最新版本的飞牛的内核已支持XE，但用户态还是有待完善，现在用docker跑似乎是可以了，以下是方法：

1，docker国内镜像列表，在docker中设置（不设置好像也行，慢了点）

名称	镜像地址	特点	推荐指数
‌轩辕镜像‌ (免费版)	https://docker.xuanyuan.me	速度快，支持全平台，社区活跃，无需登录	⭐⭐⭐⭐⭐
‌毫秒镜像‌	https://docker.1ms.run	极致速度，老牌稳定，开箱即用，无需登录	⭐⭐⭐⭐⭐
‌DaoCloud‌	https://docker.m.daocloud.io	企业级稳定，历史悠久，兼容性好	⭐⭐⭐⭐
‌轩辕镜像‌ (专业版)	https://xuanyuan.cloud	需注册登录，速度更优，适合对稳定性要求极高的场景	⭐⭐⭐⭐

2，

group_add:

• "105"
• "44"

这两个要看你自己电脑的render和video是哪个组,命令是：
getent group render
getent group video

services:
  ollama-intel:
    image: intel**ytics/ipex-llm-inference-cpp-xpu:latest
    container_name: ollama-intel
    privileged: true
    restart: unless-stopped
    devices:
      - /dev/dri:/dev/dri
    volumes:
      - ./data/ollama_data:/root/.ollama   # ← 请确认路径存在
    ports:
      - "11434:11434"
    environment:
      - OLLAMA_INTEL_GPU=true   # 显式启用 Intel GPU
      - DEVICE=Arc
      - OLLAMA_HOST=0.0.0.0:11434
      - OLLAMA_NUM_PARALLEL=2
      - OLLAMA_MAX_LOADED_MODELS=1
      - ONEAPI_DEVICE_SELECTOR=level_zero:0
    command: >
      bash -c "cd /llm/scripts/ && source ipex-llm-init --gpu --device Arc && bash start-ollama.sh && tail -f /llm/ollama/ollama.log"
    group_add:
      - "105"
      - "44"

  open-webui:
    image: ghcr.nju.edu.cn/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "13000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama-intel:11434
      - WEBUI_AUTH=False
    volumes:
      - ./open-webui-data:/app/backend/data
    depends_on:
      - ollama-intel

volumes:
  open-webui-data:

然后构建compose，等待下载镜像、构建容器后，就会有两个容器生成，默认我设置的端口是13000去访问open-webui，比如 http://ip:13000，这个启动有点慢，要等一下，注意，默认是http的，不是https

最后，intel的卡。。ipex-llm..对于大模型支持都有延迟。。这东西还不支持qwen3.5的，在ollama上下载不了3.5，不确定魔搭有没有合适的qwen3.5版本，目前我下载的是qwen3:8b是可以的，能跑这卡

21 TOKEN/s。。。

罗xx

不知道为啥，飞牛的编辑器把我脚本给换成*了，看图吧：

benchu

好贴，捣鼓半天不如楼主的分享

杯子

楼主能试试vulkan的效率么？

l-shu

unable to get image 'intel**ytics/ipex-llm-inference-cpp-xpu:latest': Error response from daemon: invalid reference format

Exited:0

大佬这是怎么回事，构建失败