当前位置: 首页 > news >正文

ragflow连不上ollama的解决方案

由于前期wsl默认装在C盘,后期部署好RagFlow后C盘爆红,在连接ollama的时候一直在转圈圈,问其他人没有遇到这种情况,猜测是因为内存不足无法加载模型导致,今天重新在E盘安装wsl

在这里插入图片描述
在这里插入图片描述

使用wsl装Ubuntu

Win11 wsl-安装教程

如何给WSL 2扩容硬盘(即扩展虚拟大小)

wsl 命令
查内存:wsl df -h /.
启动:wsl -d xxxx
关闭:

在Ubuntu装docker

教程
在安装docker时,注意配置镜像源文件/etc/docker/daemon.json

配置完后,需要重启docker才能生效,这个时候,就开始爆bug了,第一次装没遇到的Bug此时全都出来了,从网站找了各种方案都没解决,直接卸载重新装一遍docker就行

在Ubuntu装ollama

1、安装命令

sudo curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述
这里我有点怀疑是不是ollama的官网有问题导致我昨天添加模型一直转圈圈。。。。。

在国内环境下,这个方法往往会卡住

首先下载并修改安装脚本,然后修改下载源

# 下载安装脚本
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh# 给脚本添加执行权限
chmod +x ollama_install.sh
把下面两个地址
https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}
https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}
分别改成
https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.2/ollama-linux-amd64
https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.2/ollama-linux-amd64-rocm.tgz

好用的github文件加速
2、拉取模型
首先,你需要创建一个新的文件夹来存放Ollama模型

sudo mkdir /path/to/ollama/models

我的本地模型统统存在D:\04 Ollama models
确保这个目录的权限用户和组都是root,并且权限全开,为777。如果不是,可以用以下命令设置

sudo chown -R root:root /path/to/ollama/models
sudo chmod -R 775 /path/to/ollama/models

接下来,你需要编辑Ollama的服务文件来指定新的模型存储路径

sudo vim /etc/systemd/system/ollama.service

在[Service]部分下加入一行新的Environment,设置OLLAMA_MODELS环境变量指向你创建的目录

Environment="OLLAMA_MODELS=/path/to/ollama/models" # 记得替换路径!!!

刷新配置并重启Ollama:保存并退出编辑器后,执行以下命令来刷新配置并重启Ollama服务

sudo systemctl daemon-reload
sudo systemctl restart ollama.service

最后,你可以通过运行ollama list命令来检查路径是否设置成功

ollama的模型参数说明书

在Ubuntu部署RagFlow

sudo sysctl -w vm.max_map_count=262144

修改ragflow/docker/.env,将需要的RAGFLOW_IMAGE取消注释
在这里插入图片描述

docker compose -f docker-compose.yml up -d

第一次拉镜像贼慢,waiting~~~~~~~

11434时Ragflow分给ollama的端口,如果是第一次装,在ragflow拉完镜像后先进入 http://loacalhost:80进行注册,然后再进行后续操作

检查ollama是否运行:进入http://loacalhost:11434,正常情况显示Ollama is running,如果ragflow没有完全配置好,会提示网络错误

可以通过打印日志来检查ragflow服务是否正常运行,

docker logs -f ragflow-server

正常界面如下
在这里插入图片描述
之前我有遇到过文件丢失的情况,但实际上文件并没有丢失,如图
在这里插入图片描述
据说是因为镜像损坏,可以更换镜像,详细修改参考这里

9GB的镜像,已经拉了3.5h+了
在这里插入图片描述

最最最关键的一步,之前就在这个坑里浪费了好多时间
先说明我的情况:用Wsl装了Ubuntu,在Ubuntu装了Ollama,使用RagFlow添加ragflow的LLM时,按如下配置
在这里插入图片描述
max tokens设置5000+

关于运行过程中可能遇到的坑(我还没实践,别人的建议)
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

还没到那一步,先熟悉一下操作流程,正式搭建的时候需要升级内存
目前我的内存情况
在这里插入图片描述
在这里插入图片描述


http://www.mrgr.cn/news/80334.html

相关文章:

  • WPF 相比 winform 的优势
  • 基于自然的解决方案的学习
  • 中间件--MongoDB部署及初始化js脚本(docker部署,docker-entrypoint-initdb.d,数据迁移,自动化部署)
  • Coding Caprice - dynamic programming13
  • 【网络】传输层协议UDP/TCP网络层IP数据链路层MACNAT详解
  • 【CSS in Depth 2 精译_075】12.2 Web 字体简介 + 12.3 谷歌字体的用法
  • 【Golang】如何读取并解析SQL文件
  • ensp 单臂路由配置
  • CAD c# 生成略缩图预览
  • 计算机网络-传输层 TCP协议(下)
  • YOLOv9改进,YOLOv9引入DLKA-Attention可变形大核注意力,WACV2024,二次创新RepNCSPELAN4结构
  • 拿到小米 Offer,却迷茫了。。
  • 《数据结构》(408代码题)
  • Vue入门到精通:核心语法—模板语法
  • Ubuntu18安装后基本配置操作
  • vue3实现页签
  • 数据结构之链表算法题
  • 10篇--图像噪点消除
  • 决策曲线分析(DCA)中平均净收益用于评价模型算法(R自定义函数)
  • 期末速成C++【初识C++】
  • 【目标检查】YOLO系列之:Triton 推理服务器Ultralytics YOLO11
  • 在线图片格式转换器 - 加菲工具
  • [2024-12 CISCN 长城杯] Crypto
  • 实现SpringBoot项目嵌入其他项目
  • C# OpenCvSharp DNN 实现百度网盘AI大赛-表格检测第2名方案第三部分-表格方向识别
  • 深度学习之pytorch环境安装:win10-python3.9-cuda10.1-cudnn7.6.4-pytorch1.7.1