当前位置: 首页 > news >正文

如何本地部署RWKV-Runner尝鲜CPU版

环境:

RWKV-Runner 1.7.1

Win10专业版

问题描述:

如何本地部署RWKV-Runner尝鲜CPU版

在这里插入图片描述
RWKV(发音为 RwaKuv)是一个具有 GPT 级LLM性能的 RNN,也可以像 GPT 转换器一样直接训练(可并行化)

本项目旨在消除大语言模型的使用门槛,全自动为你处理一切,你只需要一个仅仅几MB的可执行程序。此外本项目提供了与OpenAI API兼容的接口,这意味着一切ChatGPT客户端都是RWKV客户端

解决方案:

1.下载RWKV-Runner.exe程序
在这里插入图片描述2.主页面
在这里插入图片描述

3.下载对应模型,在线下载很慢,可能需要科学
在这里插入图片描述4.如网盘下载模型放如models文件夹内,我下了1B5这个

在这里插入图片描述

5.开始也可以直接点主页右下角运行,然后按提示操作,会自动下载对应所缺的东西(python等等一些东西)

在这里插入图片描述6.cpu运行会提示改配置里这

在这里插入图片描述

7.最后点运行
在这里插入图片描述
运行成功

在这里插入图片描述

测试对话
在这里插入图片描述


http://www.mrgr.cn/news/96703.html

相关文章:

  • 动态规划入门:从记忆化搜索到递推
  • TypeError: __init__() got an unexpected keyword argument ‘device_type‘
  • 深度学习--softmax回归
  • 高效内存位操作:如何用C++实现数据块交换的性能飞跃?
  • Time spent invoking a CUDA kernel
  • 蓝桥杯准备(前缀和差分)
  • Android 中集成 Google 应用内评分
  • 洛谷题单2-P1424 小鱼的航程(改进版)-python-流程图重构
  • thinkcmf搭建
  • 游戏引擎学习第198天
  • 大模型高质量rag构建:A Cheat Sheet and Some Recipes For Building Advanced RAG
  • 配置防火墙和SELinux(1)
  • 【Yolov8部署】 VS2019 + opencv + onnxruntime 环境下部署目标检测模型
  • mysql 八股
  • C语言常用的字符串函数
  • 06-02-自考数据结构(20331)- 查找技术-动态查找知识点
  • 蓝桥杯 刷题对应的题解
  • Java基础 3.31
  • 【Feign】⭐️使用 openFeign 时传递 MultipartFile 类型的参数参考
  • SpringBoot详细教程(持续更新中...)