通义千问QvQ-72B-Preview模型部署

准备工作

模型下载

相关链接

中文blog：https://qwenlm.github.io/zh/blog/
Modelscope开源地址：https://modelscope.cn/models/Qwen/QvQ-72B-Preview
Modelscope创空间体验：https://modelscope.cn/studios/Qwen/QvQ-32B-preview
HuggingFace开源地址：https://huggingface.co/Qwen/QvQ-72B-Preview
HuggingFace Space体验：https://huggingface.co/spaces/Qwen/QvQ-72B-preview

模型效果

官方数据

下载模型

本次实验在4090上进行测试，为了顺利加载模型，下载的是量化版本的模型。模型结构如下：

环境准备

conda activate qvq
pip install transformers
pip install qwen