ragflow连不上ollama的解决方案
由于前期wsl默认装在C盘,后期部署好RagFlow后C盘爆红,在连接ollama的时候一直在转圈圈,问其他人没有遇到这种情况,猜测是因为内存不足无法加载模型导致,今天重新在E盘安装wsl
使用wsl装Ubuntu
Win11 wsl-安装教程
如何给WSL 2扩容硬盘(即扩展虚拟大小)
wsl 命令
查内存:wsl df -h /.
启动:wsl -d xxxx
关闭:
在Ubuntu装docker
教程
在安装docker时,注意配置镜像源文件/etc/docker/daemon.json
配置完后,需要重启docker才能生效,这个时候,就开始爆bug了,第一次装没遇到的Bug此时全都出来了,从网站找了各种方案都没解决,直接卸载重新装一遍docker就行
在Ubuntu装ollama
1、安装命令
sudo curl -fsSL https://ollama.com/install.sh | sh
这里我有点怀疑是不是ollama的官网有问题导致我昨天添加模型一直转圈圈。。。。。
在国内环境下,这个方法往往会卡住
首先下载并修改安装脚本,然后修改下载源
# 下载安装脚本
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh# 给脚本添加执行权限
chmod +x ollama_install.sh
把下面两个地址
https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}
https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}
分别改成
https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.2/ollama-linux-amd64
https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.2/ollama-linux-amd64-rocm.tgz
好用的github文件加速
2、拉取模型
首先,你需要创建一个新的文件夹来存放Ollama模型
sudo mkdir /path/to/ollama/models
我的本地模型统统存在D:\04 Ollama models
确保这个目录的权限用户和组都是root,并且权限全开,为777。如果不是,可以用以下命令设置
sudo chown -R root:root /path/to/ollama/models
sudo chmod -R 775 /path/to/ollama/models
接下来,你需要编辑Ollama的服务文件来指定新的模型存储路径
sudo vim /etc/systemd/system/ollama.service
在[Service]部分下加入一行新的Environment,设置OLLAMA_MODELS环境变量指向你创建的目录
Environment="OLLAMA_MODELS=/path/to/ollama/models" # 记得替换路径!!!
刷新配置并重启Ollama:保存并退出编辑器后,执行以下命令来刷新配置并重启Ollama服务
sudo systemctl daemon-reload
sudo systemctl restart ollama.service
最后,你可以通过运行ollama list命令来检查路径是否设置成功
ollama的模型参数说明书
在Ubuntu部署RagFlow
sudo sysctl -w vm.max_map_count=262144
修改ragflow/docker/.env,将需要的RAGFLOW_IMAGE取消注释
docker compose -f docker-compose.yml up -d
第一次拉镜像贼慢,waiting~~~~~~~
11434时Ragflow分给ollama的端口,如果是第一次装,在ragflow拉完镜像后先进入 http://loacalhost:80进行注册,然后再进行后续操作
检查ollama是否运行:进入http://loacalhost:11434,正常情况显示Ollama is running,如果ragflow没有完全配置好,会提示网络错误
可以通过打印日志来检查ragflow服务是否正常运行,
docker logs -f ragflow-server
正常界面如下
之前我有遇到过文件丢失的情况,但实际上文件并没有丢失,如图
据说是因为镜像损坏,可以更换镜像,详细修改参考这里
9GB的镜像,已经拉了3.5h+了
最最最关键的一步,之前就在这个坑里浪费了好多时间
先说明我的情况:用Wsl装了Ubuntu,在Ubuntu装了Ollama,使用RagFlow添加ragflow的LLM时,按如下配置
max tokens设置5000+
关于运行过程中可能遇到的坑(我还没实践,别人的建议)
还没到那一步,先熟悉一下操作流程,正式搭建的时候需要升级内存
目前我的内存情况