收起左侧

第一次部署copaw,以及使用本地大模型的经历

2
回复
167
查看
[ 复制链接 ]

1

主题

1

回帖

0

牛值

江湖小虾

一、安装ollama和拉取大模型

1、如何安装ollama大家可以百度,或者通过docker拉取ollama的镜像。

2、ollama安装完毕,可以提前拉取大模型,请根据自己的nas硬件配置拉取相应的大模型。

二、安装copaw

1、我是通过docker的镜像仓库搜索copaw,然后出现镜像后,选择第一个agentscope/copaw,下载量100k+。然后就是拉取镜像,然后直接运行,如果出现端口冲突,就修改红圈的数值,我是从8088改为8086才运行成功,生成容器。
11.jpg

2、然后在容器选择copaw,鼠标移动到链接符号,就会出现链接标志,如红圈所示,点击就能进入copaw,或者在浏览器输入NAS的IP:8086。

11.jpg

三、配置copaw

1、打开copaw,点击红圈位置,将语言修改为中文。
11.jpg

2、点击左边菜单的设置,选择模型,开始配置模型。
11.jpg

3、因为我是使用本地大模型,以下都是以本地大模型使用进行说明,如果需要部署外网大模型,请自行百度。选择ollama并点击右下角的设置,进入ollama的设置界面。这里有一个关键点,也就是基础URL必须输入ollama的全部IP地址,包括端口。(网上搜了很多教程都是要改,但是改后我都是无法通过测试连接)
11.jpg

4、点击测试连接,如果出现“Connection failed: Ollama Python SDK is not installed”,那就是没有安装phthon环境。

四、解决“Connection failed: Ollama Python SDK is not installed”的问题。

1、打开飞牛nas的ssh,默认端口是22。

2、使用其它电脑通过Windows自带的powershell从nas后台登录。打开powershell,出现以下界面后,输入“ssh nas用户账号@nas的ip地址 -p 22”,注意-p两侧都有一个空格。命令如果没有输错,就会出现让你输入用户账号的登录密码,密码输入过程是无法看到,注意别输错了。
11.jpg

3、执行以下命令

dockerexec-it copaw /bin/bash(说明:进入报错的容器)

(1)如果出现“permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get “http://%2Fvar%2Frun%2Fdocker.sock/v1.51/containers/copaw/json": dial unix /var/run/docker.sock: connect: permission denied”的提示,表示当前用户(如 NAS 的 admin用户)没有访问 Docker 守护进程套接字(/var/run/docker.sock)的权限,那就要执行以下命令,给docker.sock临时添加所有人可访问权限(核心)

命令:sudochmod666 /var/run/docker.sock

(2)执行上述命令后,会提示重新输入用户账号的密码,输入正确后,重新执行dockerexec-it copaw /bin/bash就会出现下图的红圈提示。注意:马赛克就是用户账号。

11.jpg

(3)输入pip install ollama,(安装Ollama Python SDK),然后就会自动下载python sdk并安装完成。

(4)出现上图红圈的提示后,输入exit,再输入docker restart copaw,就完成问题的处理。

五、进入copaw,重复第三点ollama设置,如果出现红圈的字样,就证明问题解决了。

11.jpg

1、点击ollama的模型,点击自动获取模型,之前下载的模型就全部出现了。

11.jpg

2、关闭后,选择LLM配置,点击提供商,选择ollama,点击模型,选择你需要的模型,然后点击聊天测试是否正常,如果有回复,那就意味着copaw本地部署正常了,具体功能就请大家自行研究吧。

11.jpg

题外话:我也是第一次部署copaw,发现最难就是ollama的配置,所以才写了这篇文章,希望碰到类似问题的朋友能够避坑。

收藏
送赞 1
分享

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

0

主题

12

回帖

0

牛值

江湖小虾

支持

0

主题

12

回帖

0

牛值

江湖小虾

请问下配置和模型怎么选择,8g内存能跑什么模型

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则