当前位置: 首页 > news >正文

【多模态】swift-3框架使用

swift-3框架使用

  • 前言
  • swift3安装
  • swift训练
  • swift cli推理
  • swift vllm python推理

前言

  接前面,swift3相比于swift2做了大升级,很多swift2能使用的在3里面error改改改…但是效率确实大升级,推理速度快了很多~~~

swift3安装

  安装也是一波三折,和swift2一样需要注意安装顺序,不然可能得删了重装。

# 首先安装conda python3.10
conda create -n swift3 python==3.10# 然后安装torch和torchvision
pip install torch torchvision# 安装flash-attn,如果安装失败像前一篇一样安装
pip install flash-attn# 安装timm
pip install auto_gptq optimum bitsandbytes timm# 下载仓库安装swift3,网络不好上github官网下载解压
git clone https://github.com/modelscope/ms-swift.git
cd ms-swift
pip install -e .# 如果有需要,安装vllm 
pip install vllm
  • 这里需要注意的是,上面pip install -e .安装的方式,ms-swift这个文件夹需要一直存好,删了这个文件夹就需要重新安装swift

swift训练

!!!注意,训练数据格式可以和swift2一样不需要改

#jsonl格式的数据
{"query": "<image>55555", "response": "66666", "images": ["image_path"]}
{"query": "eeeee<image>eeeee<image>eeeee", "response": "fffff", "history": [], "images": ["image_path1", "image_path2"]}
{"query": "EEEEE", "response": "FFFFF", "history": [["query1", "response2"], ["query2", "response2"]], "images": []}

但是训练的脚本需要改一下,很多参数swift3和swift2不一样,swift2的不同版本可能也不一样,如果还报错需要去官方git的swift的sft源代码下面去确认【主要是swift2里面的model_id_or_path在3里面就叫model了,flashattention这里参数名字也改了】

NPROC_PER_NODE=1 CUDA_VISIBLE_DEVICES=0 MAX_PIXELS=602112 swift sft \
--model_type qwen2-vl-7b-instruct \
--model /data/coding/llm_model/Qwen/Qwen2-VL-7B-Instruct \
--dataset /data/coding/qwen2_vl_mix_train_1214.jsonl \
--train_type lora \
--attn_impl flash_attn \
--per_device_train_batch_size 1 \
--output_dir internvl_lora \
--max_steps 3000 \
--save_total_limit 2 \
--logging_steps 10 \
--gradient_checkpointing false

swift cli推理

!!!注意,swift3可以使用2里面的数据格式,但是response不能为空,随便填一个字符串到response就行,response为空会报错

#jsonl格式的数据
{"query": "<image>55555", "response": "66666", "images": ["image_path"]}
{"query": "eeeee<image>eeeee<image>eeeee", "response": "fffff", "history": [], "images": ["image_path1", "image_path2"]}
{"query": "EEEEE", "response": "FFFFF", "history": [["query1", "response2"], ["query2", "response2"]], "images": []}

使用swift3推理时选用vllm和flash-attn快很多,A100-80的卡上,纯文本推理,没用的情况下是一个半小时,用了是10分钟,真香~

  • 注意,如果图片数量超过1,需要设置limit_mm_per_prompt,控制vllm使用多图, 默认为None. 例如传入–limit_mm_per_prompt '{“image”: 10, “video”: 5}'表示最多10张图,5个视频,否则报错
CUDA_VISIBLE_DEVICES=0 MAX_PIXELS=602112 swift infer \
--ckpt_dir /data/coding/checkpoint-3000-merged \
--attn_impl flash_attn \
--max_new_tokens 300 \
--temperature 0 \
--val_dataset /data/coding/content_test.jsonl \
--result_path output_3000.jsonl \
--max_batch_size 5 \
--infer_backend vllm

如果需要使用新的数据格式,swift3推荐的是这样的:

{"messages": [{"role": "system", "content": "你是个有用无害的助手"}, {"role": "user", "content": "<image>图片中是什么,<video>视频中是什么"}, {"role": "assistant", "content": "一个大象,一个狮子"}], "images": ["/xxx/x.jpg"], "videos": ["/xxx/x.mp4"]}

swift vllm python推理

注意数据的格式,python推理时需要包成下面类似的格式

{"messages": [{"role": "system", "content": "<system>"}, {"role": "user", "content": "<query1>"}, {"role": "assistant", "content": "<response1>"}, {"role": "user", "content": "<query2>"}, {"role": "assistant", "content": "<response2>"}]}
import os
from swift.llm import InferEngine, InferRequest, PtEngine, RequestConfig, load_dataset
from swift.plugin import InferStatsos.environ['CUDA_VISIBLE_DEVICES'] = '0'
os.environ['MAX_PIXELS']='602112'  # 设置最大图片大小,防止爆显存from swift.llm import VllmEngine
model_name='模型的本地地址'
engine=VllmEngine(model_name,model_type='模型的type',gpu_memory_utilization=0.9)test_img_path = '本地图片.jpg'message = [{'role': 'user','content': [{"type": "image","image": test_img_path},{"type": "text", "text": "What can you see in the image?"},]
}]
data = dict()
data['messages'] = messagerequest_config = RequestConfig(max_tokens=512, temperature=0)
metric = InferStats()
infer_requests = [InferRequest(**data)]resp_list = engine.infer(infer_requests, request_config)
query0 = infer_requests[0].messages[0]['content']
response = resp_list[0].choices[0].message.content
print(response)

http://www.mrgr.cn/news/81041.html

相关文章:

  • es使用knn向量检索中numCandidates和k应该如何配比更合适
  • uniApp使用腾讯地图提示未添加maps模块
  • 在Linux中进行Redis版本更新后服务启动不了
  • 一区牛顿-拉夫逊算法+分解+深度学习!VMD-NRBO-Transformer-GRU多变量时间序列光伏功率预测
  • C语言进阶(2) ---- 指针的进阶
  • mysql的事务控制和数据库的备份和恢复
  • 定时任务——定时任务技术选型
  • dockerfile文档编写(2):docker pull和pip镜像加速
  • 【Rust自学】4.4. 引用与借用
  • javaEE--计算机是如何工作的-1
  • 【Rust自学】5.1. 定义并实例化struct
  • Timsort算法
  • 排序算法 (插入,选择,冒泡,希尔,快速,归并,堆排序)
  • 【Rust自学】4.5. 切片(Slice)
  • yolov8的标签匹配解析
  • 39.在 Vue3 中使用 OpenLayers 导出 GeoJSON 文件及详解 GEOJSON 格式
  • 多个Echart遍历生成 / 词图云
  • [Java]合理封装第三方工具包(附视频)
  • 数据仓库工具箱—读书笔记02(Kimball维度建模技术概述03、维度表技术基础)
  • 海格通信嵌入式面试题及参考答案
  • draw.io 导出svg图片插入word后模糊(不清晰 )的解决办法
  • Restaurants WebAPI(四)——Identity
  • nodejs利用子进程child_process执行命令及child.stdout输出数据
  • LLMs之rStar:《Mutual Reasoning Makes Smaller LLMs Stronger Problem-Solvers》翻译与解读
  • 开源知识库open source knowledge base
  • 计算机毕业设计hadoop+spark知网文献论文推荐系统 知识图谱 知网爬虫 知网数据分析 知网大数据 知网可视化 预测系统 大数据毕业设计 机器学习