当前位置: 首页 > news >正文

教你快速完成大模型 API 的调用

不少同学用了很长时间的 AI 大模型了,但却从未完成过一次大模型的 API 调用。

其实 API 调用非常简单,你可以联网调用 API,也可以将大模型下载到本地电脑上来进行调用。

区别在于联网的话很多时候需要消耗 token 数。

那么本节,就以 ChatGLM 模型为例,带大家完成一次大模型的 API 调用。

ChatGLM 是由智谱 AI 联合清华大学共同研发的一系列先进大型预训练语言模型,专注于提升对话生成任务的性能。

目前,该系列中最为出色的模型是 ChatGLM3-6B("6B"代表整个模型有 60 亿参数,B = Bilion,代表十亿规模的参数)。

这一模型不仅支持中英文双语,而且基于先进的 General Language Model (GLM) 架构设计。

ChatGLM在研发过程中采用了与 GPT 系列相似的技术路线——

该模型经过了约 1T token的中英双语1:1训练,并融入了包括监督微调、反馈自助、人类反馈强化学习等先进技术,以生成更符合人类偏好的回答。

如何使用 Python 来调用 ChatGLM

目前的所有开源大模型的使用方法都非常简单,它们都已经适配了HuggingFace 的 transfomers 库。

因此,我们只要修改和下载权重就可以使用了。

首先,通过以下命令安装依赖库:

pip3 install transformers torch

然后,使用这篇文章中讲过的方法替换 HuggingFace 国内源,最后,使用下面的代码即可直接体验。

from transformers import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)#你好👋!我是人工智能助手ChatGLM3 - 6

注意:由于模型参数较大,初次运行以上代码,会进行模型权重的下载。

时间会较长,耐心等待即可,如中途下载失败,可重新执行以上代码进行下载(会续传)。

另外,上述代码配置的是模型在 GPU 上进行推理的场景。

如果你的设备不支持 GPU计算,可以将 device='cuda' 设置为 device='cpu'来运行,只不过这样的话运行速度会变慢。

在 ChatGLM 源码仓库中有更多的部署方法,有网页部署、也有针对 Intel CPU 的优化部署。

你也可以直接去官网体验官方已经在网页上部署好的 ChatGLM 模型,体验其中文对话能力。

官方网址:https://chatglm.cn/?lang=zh。

如果本文对你有帮助,欢迎点赞一下呀~


如果你想学习 AI ,欢迎来添加我的微信 (vx: ddcsggcs),会有很多好玩的AI技术分享,可以咨询、也可以围观朋友圈呀~


http://www.mrgr.cn/news/36220.html

相关文章:

  • Windows内核编程基础(2)
  • ‌WPF Prism框架的优势主要体现
  • 每日OJ题_牛客_孩子们的游戏_约瑟夫环_C++_Java
  • 招联金融2025校招内推喇
  • 20_BERT微调训练
  • 【ASE】第三课_山丘颜色梯度效果
  • 【POJ-1061 青蛙的约会】
  • ResNet残差网络:深度学习的里程碑
  • SDK3(note上)
  • 【数据结构】剖析二叉树(Binary Tree)
  • 建堆算法实现
  • Go基础学习05-数组和切片关系深度解析
  • s3c2440——ADC模数转换器,Linux驱动编程——u-boot
  • Windows C++:MoveFile、MoveFileEx、MoveFileWithProgress、CopyFile、CopyFileEx。
  • 分布式数据库——HBase基本操作
  • 【MySQL】基础入门篇
  • 防抖和节流的区别
  • Go项目初始化与依赖包引入指南
  • 2024年测评分享7款帮人写论文的AI网站
  • 图(graph.cpp)(回归)