收起左侧

居然能在浏览器里跑 Qwen3?Docker 部署超简单!

0
回复
249
查看
[ 复制链接 ]

88

主题

9

回帖

0

牛值

fnOS系统内测组

社区上线纪念勋章

Qwen-Web:

一款在本地浏览器运行 Qwen3-0.6b 大语言模型项目,零安装、无日志记录和无数据

在线 Demo:

https://qwen-web.sdan.io

安装

Docker Compose

services:
  qwen-web:
    image: heizi**/qwen-web:latest
    container_name: qwen-web
    ports:
      - 8443:443
    restart: always

使用

浏览器中输入 https://NAS的IP:8443 就能看到界面,注意是 HTTPS 协议

TIP:如果显示部署私密连接,选择继续访问即可

每次打开网页访问,都需要先加载 Qwen3-0.6b 的模型

顶部栏可以切换颜色主题

背景加网格效果

输入文字回车确认,能看到就有回复了

上面能看到回复速度为 14.93TPS,因为有显示思考过程,所以感觉速度还能接受

左边内置了几个角色,可以选中进行聊天

网页聊天,模型是调用设备 GPU 进行计算的

总结

这个项目还是挺有意思的,在浏览器就可以运行 Qwen3 的大语言模型。它通过 WebGPU 技术,实现网页调用设备 GPU 进行计算和渲染。不过目前该项目 PC 界面适配不太好,而且运行模型有时候会有 BUG(卡住,回复英文)。但是个人觉得还是挺好玩的,运行模型的同时,也可以测试设备 GPU 性能表现。

综合推荐:⭐⭐⭐(有点意思)

使用体验:⭐⭐(界面简陋,有时候还有 BUG)

部署难易:⭐(非常简单)︎

收藏
送赞
分享
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则