当前位置: 首页 > news >正文

(2025)深度分析DeepSeek-R1开源的6种蒸馏模型之间的逻辑处理和编写代码能力区别以及配置要求,并与ChatGPT进行对比(附本地部署教程)

(2025)通过Ollama光速部署本地DeepSeek-R1模型(支持Windows10/11)_deepseek猫娘咒语-CSDN博客文章浏览阅读1k次,点赞19次,收藏9次。通过Ollama光速部署本地DeepSeek-R1(支持Windows10/11)_deepseek猫娘咒语 https://blog.csdn.net/m0_70478643/article/details/145486626?spm=1001.2014.3001.5501在上一篇文章中我们完成了DeepSeek-R1的光速本地部署。

我对几种可以本地部署的、个人电脑可以带得动蒸馏模型的性能进行了测试,并测试了各模型的大概配置需求。以便在本地部署时选择合适的模型。

DeepSeek-R1模型简介

首先,DeepSeek-R1开源的模型一共有以下几种:

"Distill": 意味着这些模型是通过蒸馏(knowledge distillation)的方法进行优化的。蒸馏是一种模型压缩技术,主要用于在不显著降低性能的前提下减少模型的大小和复杂度。

"Qwen"代表通义千问(阿里巴巴),可以简单理解为针对中文进行了优化适配。

"Llama"代表Meta(Facebook),也可以简单理解成是针对英文进行了优化适配。

"B"代表这个模型的规模(Model Size),x B代表这个模型使用了x十亿个参数,可以简单理解为数字越大 内存/显存 需求越高,推理效果越好(越聪明)。

我下载了全部的中文版模型进行测试。

分别测试模型性能

1.5b

1.5b逻辑推理能力测试

首先是测试1.5b模型常用的几个问题。

可以看出,1.5b非常的蠢,大略等同于2019年的GPT2.0,属于几乎不能用的状态。

1.5b硬件配置要求

优点是显存占用非常非常的少,并且可以秒回,适合硬件性能很差但仍然想尝试一下本地部署的用户。(测试用GPU是4080,本地跑模型对CPU几乎没要求,i7-9700都可以无压力跑,大模型对内存有一定要求)

7b

7b逻辑推理能力测试

对于这种问题7b可以精准回答并且不需要思考很多(占用很多token)。

但经典的数r问题就露馅了。

 和GPT当前最先进的版本4o差不多。

 因为GPT,没有对中文做适配优化,出于公平考虑,我们用英文并开启推理功能再问一遍(GPT只有o3-mini可以推理)

最终得出结论,自然语言处理能力上,7b约等于GPT 4o/o3-mini。

7b硬件配置要求

7b的显存占用也不算高,约4-5GB,1060显卡也可以跑得动,属于是性价比非常高的模型!

14b

14b逻辑推理能力测试

接下来让我们看看14b的表现

虽然正确的数出了有三个r,但是处理的并不轻松,推理过程巨长

 限于篇幅,这只是一小部分思考,它全篇检查并重新数了五次,但总算是成功数出来了。

其他常用的测试题也可以成功输出。

 14b逻辑推理能力进阶测试

 这种对人类都有些绕的题14b也能解决,反观GPT

14b的NLP能力已经远超GPT,各种AI逻辑测试题没有任何一道可以难住它。

14b代码编写能力测试

接下来测试它的代码编写能力

 完整代码如下

import cv2
import mathdef find_yellow_circles(image_path):# 读取图像img = cv2.imread(image_path)if img is None:print("无法加载图像")return# 转换为HSV颜色空间hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)# 定义黄色范围(可以根据需要调整)lower_yellow = (10, 50, 50)upper_yellow = (30, 255, 255)# 创建掩膜mask = cv2.inRange(hsv, lower_yellow, upper_yellow)# 应用形态学操作以消除噪声和连接区域kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))mask = cv2.erode(mask, kernel, iterations=1)mask = cv2.dilate(mask, kernel, iterations=2)# 查找连通区域contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)# 初始化结果图像result = img.copy()for contour in contours:# 计算包围圆的参数(x, y), radius = cv2.minEnclosingCircle(contour)# 计算面积area = cv2.contourArea(contour)# 计算圆形度:实际面积与理论圆形面积的比例circularity = area / (math.pi * radius**2)# 过滤非圆形区域(可以根据需要调整阈值)if circularity > 0.5:# 绘制检测到的圆圈cv2.circle(result, (int(x), int(y)), int(radius), (0, 255, 0), 2)# 显示结果图像cv2.imshow("Yellow Circles Detected", result)cv2.waitKey(0)cv2.destroyAllWindows()# 示例用法:将 image_path 替换为实际的图像路径
image_path = "path_to_your_image.jpg"
find_yellow_circles(image_path)

让我们来测试一下这个代码,原始图像如下

代码执行结果如下

 可以看出,14b的代码编写能力已经非常非常的夸张了,领先GPT至少一个大版本。

14b硬件配置要求

缺点是需要8-9GB显存,用朋友的4060 8GB版跑会超出显存,占用内存,这会导致CPU占用飙升且回答速度非常慢,但仍然可以输出。

32b

到这里几乎就是普通个人设备的终点了,接下来是32b模型。语言推理能力对于32b来说已经是无需测试了,直接测试他的代码编写能力。

32b代码编写能力测试

同样的问题32b给出的代码:

import cv2
import numpy as npdef find_yellow_circles(image_path):# 读取图像image = cv2.imread(image_path)if image is None:print("无法读取图像")return# 转换为HSV颜色空间hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)# 定义黄色的范围(H在15到40之间)lower_yellow = np.array([15, 70, 70])upper_yellow = np.array([40, 255, 255])# 创建掩膜,提取黄色区域mask = cv2.inRange(hsv_image, lower_yellow, upper_yellow)# 使用形态学操作去除噪声kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)# 应用掩膜到原图像yellow_image = cv2.bitwise_and(image, image, mask=mask)# 转换为灰度图并进行边缘检测gray = cv2.cvtColor(yellow_image, cv2.COLOR_BGR2GRAY)edges = cv2.Canny(gray, 50, 150)# 使用霍夫圆变换检测圆形circles = cv2.HoughCircles(edges, cv2.HOUGH_GRADIENT, dp=1, minDist=20,param1=50, param2=30, minRadius=10, maxRadius=100)if circles is not None:# 将检测到的圆转换为整数坐标circles = np.round(circles[0]).astype(int)for (x, y, r) in circles:# 绘制圆形边界和中心点cv2.circle(image, (x, y), r, (0, 255, 0), 2)cv2.rectangle(image, (x - 5, y - 5), (x + 5, y + 5), (0, 128, 255), -1)# 显示结果cv2.imshow("Yellow Circles", image)cv2.waitKey(0)cv2.destroyAllWindows()return circlesprint("未检测到黄色圆圈")return None# 使用示例
image_path = "your_image.jpg"  # 替换为你的图像路径
find_yellow_circles(image_path)

 测试结果如下

 奇怪,效果为什么还不如14b,公平起见,再重新生成一次!

这次倒是成功了,我又测试了大概五次,发现32b的代码编写能力并没有显著强于14b。

32b硬件配置要求

然而32b对硬件要求很高,我的4080的16GB显存已经无法满足

 需要像4060跑14b那样借用内存来处理参数

会借用7GB内存,借用内存的同时也会消耗CPU性能,会导致回答输出奇慢无比。

也就是需要显存大于24GB才可以流畅运行32b模型,但性能又和14b拉不开差距,所有32b对于普通用户而言性价比较低。

70b

很抱歉,70b的能力测试我无法进行,因为它对配置要求太高了,不光会GPU会占满,甚至会占29个G内存,就算这种情况下,也完全无法正常提问。

最简单的问题都要经过长达5分钟的思考(还没思考成功),这一级别已经脱离了家用电脑的范畴,我推测最少需要两张A100 40GB才有可能流畅运行。

至于未蒸馏的DeepSeek-R1-Zero,671B的模型可以想象配置要求有多夸张。

总结

1.5b可以说完全无法使用,只适合电脑配置很差又想体验本地部署的用户,不如去官网直接问,虽然会经常无响应,大概等于2019年的GPT2.0。

7b的逻辑推理能力有一定进步,但仍然不足以应对较难的问题,综合性价比不高,适合老显卡用户问一些简单的问题,自然语言处理能力大概等于最新的GPT4o/o3-mini。

14b就已经非常强大了,NLP能力和代码编写能力都远远高于GPT,完全可以满足日常使用需求,配置要求也不高,是所有蒸馏模型里性价比最高的。

32b的综合能力没有显著强于14b,而配置要求飙升,已经接近个人电脑的极限,性价比很低不建议使用。

70b是蒸馏模型中最高版本,很遗憾我的设备性能不足不能进行详细测试。


http://www.mrgr.cn/news/90475.html

相关文章:

  • ThinkPHP8视图赋值与渲染
  • depcheck检查node.js项目中未使用和缺失依赖的工具
  • C/C++算法竞赛学习书籍
  • 【LeetCode: 8. 字符串转换整数 (atoi) + 模拟】
  • 如何评估云原生GenAI应用开发中的安全风险(下)
  • AOS安装及操作演示
  • 算法练习——滑动窗口
  • mysql读写分离与proxysql的结合
  • 使用k3s高可用部署rancher
  • YOLO自定义数据集实现K折交叉验证——K-Fold Cross Validation
  • 使用grafana v11 建立k线(蜡烛图)仪表板
  • CF Round 997 记录 题解 (div. 2 A - E)
  • PyQt学习记录03——批量设置水印
  • 算法很美笔记(Java)——树
  • package.json 文件配置
  • 华为云kubernetes基于keda自动伸缩deployment副本(监听redis队列长度)
  • python 获取smpl身高 fbx身高
  • 如何使用Java语言在Idea和Android中分别建立服务端和客户端实现局域网聊天
  • Android 14.0 Launcher3单层模式workspace中app列表页排序功能实现
  • @synchronized的使用
  • 使用 Express 写接口
  • 自己部署DeepSeek 助力 Vue 开发:打造丝滑的标签页(Tabs)
  • 通过钉钉创建个人AI助理:无需官网即可使用DeepSeek满血版全攻略
  • [极客大挑战 2019]PHP
  • 【竞技宝】LOL-LPL:EDG3-0零封LNG
  • 图神经网络怎么和LLM结合