本地部署AI模型 --- DeepSeek（一）

目录

 

一，LM Studio简介

1.1 LM Studio简介

1.2 LM Studio 特性

二，环境搭建

2.1 下载安装 LM Studio

2.2 下载deepseek 1.5B模型

2.3 配置模型环境变量

---

 

一，LM Studio简介

1.1 LM Studio简介

LM Studio 是一款专为本地运行大型语言模型（LLMs）设计的工具，允许用户在个人电脑上轻松加载、管理和运行各种开源语言模型（如 LLaMA、Falcon、GPT-J 等）。

通过LM Studio我们可以实现模型的完全离线运行，所有模型和数据都在本地处理，无需联网，保护隐私。它支持多种模型格式，包括兼容 Hugging Face 的模型格式（如 .bin、.ggml 等），方便用户导入和使用各种开源模型。

1.2 LM Studio 特性

1. 模型管理：

    * 从 Hugging Face 或其他来源下载模型。

    * 本地加载和管理多个模型。

    * 支持模型的版本管理和更新。

2. 模型推理：

    * 提供交互式聊天界面，用户可以直接与模型对话。

    * 支持生成文本、代码、故事等内容。

3. 硬件优化：

    * 支持 GPU 加速（如 CUDA、Metal），提升模型运行速度。

    * 自动优化模型以适应本地硬件配置。

4. 自定义配置：

    * 调整模型参数（如温度、top-k、top-p 等）以控制生成结果。

    * 支持保存和加载自定义配置。

5. 完全离线：

    * 所有操作都在本地完成，无需联网，确保数据隐私和安全。

 

二，环境搭建

我们计划通过LM Studio来部署DeepSeek开源模型，但由于其对硬件要求较高，尤其是运行大模型时（如 7B、13B 等）。所以我们先通过1.5B模型来梳理整个部署的过程。

2.1 下载安装 LM Studio

LM Studio - Discover, download, and run local LLMs

2.2 下载deepseek 1.5B模型

lmstudio-community (LM Studio Community)

搜索deepseek，并下载lmstudio-community/DeepSeek-R1-Distill-Qwen-1.5B-GGUF。 DeepSeek-R1-Distill-Qwen-1.5B-GGUF是一款高效、轻量、节省资源的小型语言模型，适用于资源受限的环境和特定任务的处理。如下：

lmstudio-community/DeepSeek-R1-Distill-Qwen-1.5B-GGUF at main

Q3、Q4、Q6、Q8 是模型的量化级别，表示模型参数的精度。量化级别越低，模型越小、推理速度越快，但精度损失也越大。

如何选择量化级别？

Q8：适合对精度要求高的场景，如研究或生产环境。

Q6：适合在性能和模型大小之间取得平衡的场景。

Q4：适合资源受限的设备，如手机或嵌入式设备。

Q3：适合对模型大小极度敏感的场景，但对精度要求不高。

这里我们选择Q8。

2.3 配置模型环境变量

2.4 加载模型

在models下创建Publisher\Repository目录，并将下载的模型放到该目录下。（注意！一定要在选定的目录下创建Publisher\Repository，否则本地模型不会被加载。）如下：