当前位置: 首页 > news >正文

Ubuntu 22 Linux上部署DeepSeek R1保姆式操作详解(Xinference方式)

一、安装步骤

1.基础环境安装

安装显卡驱动、cuda,根据自己硬件情况查找相应编号,本篇不介绍这部分内容,只给出参考指令,详情请读者自行查阅互联网其它参考资料。

sudo apt install nvidia-utils-565-server

sudo apt install nvidia-cuda-toolkit

确认安装结果的指令和输出如下:

因机器上有其它使用python环境的应用,故使用conda来管理python环境。
 

(1)安装conda管理器

更新软件包

sudo apt update

sudo apt upgrade

安装基本依赖

sudo apt install wget curl bzip2 ca-certificates

下载Anaconda安装脚本

wget https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh

运行安装脚本,按提示一路执行下去,中间需要输入yes并确认

bash Anaconda3-2023.03-1-Linux-x86_64.sh

初始化Anaconda,执行下面指令,或者关闭命令窗口后重新开启一个窗口。

source ~/.bashrc

验证安装结果

conda env list

(2)创建xinference所需的虚拟环境并激活它

conda create -n Xinference python=3.10.15

conda activate Xinference

(3)安装chatglm-cpp

https://github.com/li-plus/chatglm.cpp/releases

切换到刚下载的文件所在目录,运行指令:

pip install chatglm_cpp-0.4.2-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

2.安装Xinfernece

pip install xinference[all]

安装过程不报错就ok了,过程需要很久,试了几次,过程中出问题最多的依然是llama_cpp_python,检查gcc编译器等因素,最终如下。

xinference有好几种支持的种类,如gpu/cpu/transformers/vllm/metal,用all参数代表全部安装,这样以后不管接入哪种类型的大模型都不需要再次安装了。

3.检验环境是否安装成功

检验pytorch是否支持gpu,运行python指令

    import torch
    print(torch.__version__)
    print(torch.cuda.is_available())

如果报错,运行下面指令安装支持gpu的依赖包。(根据自己显卡配置确定cuda版本号,ubuntu系统正常在安装xinference过程中已经安装了以下依赖包)

pip install torch==2.6.0+cu128 torchvision==0.21.0+cu128 torchaudio==2.6.0+cu128 --index-url https://download.pytorch.org/whl/cu128

pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu128

二、启动Xinference

xinference-local --host 0.0.0.0 --port 9999

windows下只能使用127.0.0.1或者局域网中的本机ip地址,linux可以使用0.0.0.0包含127.0.0.1和局域网中的本机ip地址,这样就可以在企业内共享了,同时也能使用127.0.0.1访问。

运行成功后界面如下

三、配置注册模型文件

1.下载模型文件

到https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

如果不能科学上网,打不开上面网址,也可以到国内阿里的开源网站下载:

https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B/files

红色框内的文件全部下载,保存到同一个目录中,根据硬件配置选择不同的模型文件,这里我是演示,所以选择1.5B,一般企业内做知识库,建议至少选择32B,显存32GB以上,我试过32GB跑32B的模型很吃力,响应很慢。

2.注册模型文件

上图中的路径要换成linux的目录格式,如/home/qkm/deepseekR1/1-5B,因为截图忘保存了,用windows模式下的截图替换了一下。

3.启动模型文件

四、体验与模型对话

点击下图箭头处,可以启动与大模型的聊天

使用conda创建的虚拟环境和安装的依赖包,往同类操作系统复制时,只要直接拷贝过去即可,基本可以与docker的跨系统部署相媲美了。


http://www.mrgr.cn/news/97446.html

相关文章:

  • AI Agent设计模式一:Chain
  • vue2拖拉拽做个模拟公式工具
  • 【零基础入门unity游戏开发——动画篇】Animation动画窗口,创建编辑动画
  • [C++面试] explicit关键字面试点总结
  • modprobe: can‘t open ‘modules.dep‘: No such file or directory
  • 使用NVM下载Node.js管理多版本
  • 下载安装Node.js及其他环境
  • Opencv计算机视觉编程攻略-第十节 估算图像之间的投影关系
  • Linux服务宕机,java服务导致的内存溢出
  • Uni-app入门到精通:uni-app的基础组件
  • 量子纠错码实战:从Shor码到表面码
  • k8s的StorageClass存储类和pv、pvc、provisioner、物理存储的链路
  • WebRTC技术简介及应用场景
  • 蓝桥杯 web 展开你的扇子(css3)
  • 通过ansible+docker-compose快速安装一主两从redis+三sentinel
  • Gateway 网关 快速开始
  • verilog学习--1、语言要素
  • 【大模型深度学习】如何估算大模型需要的显存
  • C# 与 相机连接
  • 使用python-pptx操作PowerPoint文档详解