十分钟安装部署大模型ChatGML-6B

近期大模型可谓是如火如荼，按耐不住也想手动安装部署大模型，近距离接触大模型，废话不多说直接开始安装部署。

部署机器准备

• 可以在某某云申请GPU服务器，模型会跑的更快；
• 本地电脑配置尚佳也可以用来跑模型，配置不同响应效果略有区别；

安装环境

目前绝大多数模型都是使用python语言，这里我们使用conda管理python环境。

安装miniconda

可以从这里获取对应版本的安装程序：Latest Miniconda Installer Links，下载完成以后执行命令，这里我以Linux为例。

bash Miniconda3-latest-Linux-x86_64.sh

按照提示进行安装，完成安装后配置~/.bashrc文件，添加如下一行配置。

conda_dir=/root/miniconda3

执行如下命令使配置生效，之后你会看到命令行前出现base，代表conda生效。

source ~/.bashrc

创建虚拟环境

使用虚拟环境管理python依赖，防止环境被污染，当然如果仅仅部署一套程序，完全可以使用base环境，甚至可以直接使用基础python环境，习惯使用conda了。

# 创建虚拟环境ChatGLM-6B
conda create -n ChatGLM-6B python=3.11
# 启用ChatGLM-6B虚拟环境
conda activate ChatGLM-6B
# 退出虚拟环境
conda deactivate

安装Git

如果没有git环境需要安装，可以通过git --version进行检查。

yum install git
# 方便下载模型权重
yum install git-lfs

下载资源

大模型部署涉及的资源基本都是 模型代码+模型权重，ChatGLM-6B开源代码参考 github.com/THUDM/ChatG…，里边安装步骤其实比较详细，这里简单顺下。

下载模型代码

git clone https://github.com/THUDM/ChatGLM-6B.git

下载模型权重

模型可以从HF进行下载，这里我下载量化模型int4为例。

# 下载模型相关基础小文件
git clone https://huggingface.co/THUDM/chatglm-6b-int4
# 下载lfs类型文件，包含模型权重文件
git lfs pull

可能下载速度过慢，可以直接手动下载后将文件放到目录下即可。

部署模型

ChatGLM-6B有多个实例程序，如：web_demo、cli_demo，这里通过web_demo部署页面UI程序，修改根目录下web_demo.py程序。

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()# 添加server_name使外部浏览器能够访问，否则是回环地址
demo.queue().launch(share=False, inbrowser=True, server_name='0.0.0.0')

将其中的THUDM/chatglm-6b修改为上方下载模型权重的路径即可，以上代码配置的是有GPU的机器，如果是其他环境可以参考官方文档支持。

运行模型

# 前台运行程序
python web_demo.py
# 后台运行，实时显示日志
nohup python -u web_demo.py > nohup.out 2>&1 &

CPU运行

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

MAC运行

model = AutoModel.from_pretrained("your local path", trust_remote_code=True).half().to('mps')

mac运行如果遇到问题可以参考官方文档进行解决，github.com/THUDM/ChatG…

结果速览

访问地址：http://127.0.0.1:7860/

总结

我是按量买的云服务，穷人真难，看着充值金额不断下降，心疼啊。本次带来大模型最为基础的部署
指南，后续我会持续更新，包括大模型微调、大模型原理等内容，敬请期待哦。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

三、LLM大模型系列视频教程

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。

• 内容：

  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

• 内容：

  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.3 流水线工程
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

• 内容：

  • L3.1 Agent模型框架
  • L3.2 MetaGPT
  • L3.3 ChatGLM
  • L3.4 LLAMA
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

• 内容：

  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​