教你快速完成大模型 API 的调用
不少同学用了很长时间的 AI 大模型了,但却从未完成过一次大模型的 API 调用。
其实 API 调用非常简单,你可以联网调用 API,也可以将大模型下载到本地电脑上来进行调用。
区别在于联网的话很多时候需要消耗 token 数。
那么本节,就以 ChatGLM 模型为例,带大家完成一次大模型的 API 调用。
ChatGLM 是由智谱 AI 联合清华大学共同研发的一系列先进大型预训练语言模型,专注于提升对话生成任务的性能。
目前,该系列中最为出色的模型是 ChatGLM3-6B("6B"代表整个模型有 60 亿参数,B = Bilion,代表十亿规模的参数)。
这一模型不仅支持中英文双语,而且基于先进的 General Language Model (GLM) 架构设计。
ChatGLM在研发过程中采用了与 GPT 系列相似的技术路线——
该模型经过了约 1T token的中英双语1:1训练,并融入了包括监督微调、反馈自助、人类反馈强化学习等先进技术,以生成更符合人类偏好的回答。
如何使用 Python 来调用 ChatGLM
目前的所有开源大模型的使用方法都非常简单,它们都已经适配了HuggingFace 的 transfomers 库。
因此,我们只要修改和下载权重就可以使用了。
首先,通过以下命令安装依赖库:
pip3 install transformers torch
然后,使用这篇文章中讲过的方法替换 HuggingFace 国内源,最后,使用下面的代码即可直接体验。
from transformers import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)#你好👋!我是人工智能助手ChatGLM3 - 6
注意:由于模型参数较大,初次运行以上代码,会进行模型权重的下载。
时间会较长,耐心等待即可,如中途下载失败,可重新执行以上代码进行下载(会续传)。
另外,上述代码配置的是模型在 GPU 上进行推理的场景。
如果你的设备不支持 GPU计算,可以将 device='cuda' 设置为 device='cpu'来运行,只不过这样的话运行速度会变慢。
在 ChatGLM 源码仓库中有更多的部署方法,有网页部署、也有针对 Intel CPU 的优化部署。
你也可以直接去官网体验官方已经在网页上部署好的 ChatGLM 模型,体验其中文对话能力。
官方网址:https://chatglm.cn/?lang=zh。
如果本文对你有帮助,欢迎点赞一下呀~
如果你想学习 AI ,欢迎来添加我的微信 (vx: ddcsggcs),会有很多好玩的AI技术分享,可以咨询、也可以围观朋友圈呀~