当前位置: 首页 > news >正文

Ubuntu20.04 本地部署 DeepSeek-R1 及 chatbox可视化

文章目录

  • 一、下载ollama
  • 二、下载模型
  • 三、chatbox 可视化
  • 四、满血版 deepseek 使用
  • 五、vscode 使用 deepseek 插件
    • 1. 获取 API密钥
    • 2. 配置插件

一、下载ollama

打开 ollama链接,直接终端运行提供的命令即可。如获取的命令如下:

curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述
确保是否安装成功可在终端输入如下命令:

ollama -v

在这里插入图片描述

注意: 如遇到Failed to connect to github.com port 443: Connection timed out ,一种简便方法是:改host sudo vim /etc/hosts ,添加内容如下:

 140.82.112.3 github.com199.232.5.194 github.global.ssl.fastly.net54.231.114.219 github-cloud.s3.amazonaws.com

其中,ipaddress 可获取目前github.com实际ip
在这里插入图片描述
😂😂😂😂 实在链接不上 !!!,额,参考 本链接 。

二、下载模型

在 ollama_search 中查询所需的模型,这里需要下载DeepSeeK-R1模型,所以在搜索框中输入“deepseek-r1”。
在这里插入图片描述

打开第一个链接,在左侧标有7b的选项为模型的版本,数字越大模型越大效果更好,但对应所需要的计算机的性能更强,具体参数可以对应下方表格。因为自己显存较低,所以使用1.5b,大家可以根据自己电脑配置选择。
在这里插入图片描述

模型版本参数量内存需求(RAM)显存需求(训练)显存需求(推理)推荐GPU配置典型应用场景注意事项
1.5B1.5B4-8GB6-8GB3-4GB单卡RTX 3090/4090移动端应用、嵌入式设备、简单对话支持低精度量化(4bit/8bit)
7B7B16-32GB24-32GB12-16GB单卡A100 40GB通用对话、文本生成需启用激活检查点节省显存
8B8B20-40GB28-36GB14-18GB单卡A100 40GB多语言处理、中等复杂度推理推荐使用FlashAttention优化
14B14B32-64GB48-64GB24-32GB2*A100 40GB(张量并行)复杂对话、知识问答需张量并行策略
32B32B64-128GB80-120GB40-60GB4*A100 80GB(流水线并行)专业领域分析、长文本生成推荐使用ZeRO-3优化
70B70B128-256GB160-240GB80-120GB8*A100 80GB(混合并行)复杂代码生成、学术研究需组合张量+流水线+数据并行
671B671B1TB+1.5-2TB800GB-1.2TB64*A100/H100(多节点分布式)超大规模预训练、战略级AI系统需定制化分布式框架支持

在左侧选好版本后,右侧即会显示一条命令,将该命令输入在命令框中即可,因为选择下载1.5b,则命令为:

ollama run deepseek-r1:1.5b

指令执行完后即可使用该模型:
在这里插入图片描述

如果需要关闭模型可使用Ctrl + d 或键盘输入/bye 即可,如需再次启动,那么在命令行中输入ollama run deepseek-r1:1.5b即可。

三、chatbox 可视化

chatbox 官网
在这里插入图片描述
在官网上下载对应版本,下载完后直接可执行文件,即可打开 chatbox

./Chatbox-1.9.8-x86_64.AppImage

1. 支持汉化
请添加图片描述
2. 模型选择

模型选择本地部署的模型,即可开箱享用本地deepseek。
在这里插入图片描述

此为升级链接

四、满血版 deepseek 使用

deepseek 官网 火遍全球的是DeepSeek-R1 671B版本,即大家常说的"满血版"R1。其他版本,1.5B,7B、8B的小模型与真正的满血版 671B R1存在天壤之别。

推荐大家去官网注册登陆账号使用(目前常出现报"服务器繁忙"的问题)。除此之外,不少厂家也在服务器部署了满血版 DeepSeek-R1 671B版本,大家也可以注册使用来解决官网的"服务器繁忙"问题,如: SiliconCloud(硅基流动) 、 秘塔AI搜索 。

五、vscode 使用 deepseek 插件

1. 获取 API密钥

deepseek 插件需要添加 API密钥 ,大家按需选用,可以在 步骤四 注册 薅羊毛配置。

deepseek platform :注册送10元。
请添加图片描述
SiliconCloud(硅基流动) 注册获得14元,约 2000 万 Tokens。

2. 配置插件

请添加图片描述
请添加图片描述
请添加图片描述


http://www.mrgr.cn/news/89882.html

相关文章:

  • Java 线程池:7参数配置、4拒绝策略与执行流程详解
  • Django中的ORM介绍
  • kotlin内联函数——runCatching
  • Windows虚拟机开启失败
  • Kutools for Excel 简体中文版 - 官方正版授权
  • SpringCloud微服务:基于Nacos组件,整合Dubbo框架
  • C++到C#核心语法对照指南
  • Java并发编程笔记
  • 【抽象代数】1.1. 运算及关系
  • 【DeepSeek论文精读】3. DeepSeekMoE:迈向混合专家语言模型的终极专业化
  • python实现--平衡二叉树和红黑树
  • 大数据数仓实战项目(离线数仓+实时数仓)3
  • vscode卡住---回退版本解决
  • 快速上手Vim的使用
  • 02DevOps基础环境准备
  • Excel 融合 deepseek
  • 深入Linux系列之进程地址空间
  • 基于机器学习时序库pmdarima实现时序预测
  • NetCore Consul动态伸缩+Ocelot 网关 缓存 自定义缓存 + 限流、熔断、超时 等服务治理 + ids4鉴权
  • SQL Server 数据库迁移到 MySQL 的完整指南
  • 在 Navicat 17 中扩展 PostgreSQL 数据类型 | 复合类型
  • openAI官方prompt技巧(一)
  • ubuntu 本地部署deepseek r1 蒸馏模型
  • AlwaysOn 可用性组副本所在服务器以及该副本上数据库的各项状态信息
  • .net的一些知识点6
  • C++效率掌握之STL库:string函数全解