当前位置：首页 > news >正文

Video-XL：智源研究院开源超基准测试的长视频理解大模型

news 2025/1/16 8:05:49

❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

Video-XL 是由智源研究院联合多所高校开发的长视频理解大模型。
该模型能在单块 80G GPU 上处理 2048 帧视频，并在多个基准测试中表现优异。
Video-XL 适用于电影摘要、监控异常检测和广告投放识别等实际应用场景。

正文（附运行示例）

Video-XL 是什么

在这里插入图片描述

Video-XL 是一款创新性的长视频理解大模型，由智源研究院联合上海交通大学、中国人民大学、北京大学等多所高校开发。该模型专门设计用于小时级视频的分析和理解，突破了传统模型在处理长视频时的性能瓶颈。

Video-XL 的主要功能

全面的长视频理解能力：在 MLVU、VideoMME、VNBench 和 LongVideoBench 上，Video-XL 7B 实现了在 7B 型号中领先的性能。
高效的长视觉上下文处理：可在 80G GPU 上处理 2048 个帧，并在视频「大海捞针」任务中取得了接近 95%的准确率。
适应复杂场景：在电影摘要、监控异常检测和广告投放识别等实际应用场景中显示出强大的能力。

如何运行 Video-XL

安装

conda create -n videoxl python=3.10 -y && conda activate videoxl
pip install torch==2.1.2 torchvision --index-url https://download.pytorch.org/whl/cu118
pip install -e "videoxl/.[train]"
pip install packaging &&  pip install ninja && pip install flash-attn --no-build-isolation --no-cache-dir
pip install -r requirements.txt

快速上手示例

from videoxl.model.builder import load_pretrained_model
from videoxl.mm_utils import tokenizer_image_token, process_images,transform_input_id
from videoxl.constants import IMAGE_TOKEN_INDEX,TOKEN_PERFRAME
from PIL import Image
from decord import VideoReader, cpu
import torch
import numpy as np
# fix seed
torch.manual_seed(0)model_path = "assets/videoxl_checkpoint-15000"
video_path="assets/ad2_watch_15min.mp4"max_frames_num =900
gen_kwargs = {"do_sample": True, "temperature": 1, "top_p": None, "num_beams": 1, "use_cache": True, "max_new_tokens": 1024}
tokenizer, model, image_processor, _ = load_pretrained_model(model_path, None, "llava_qwen", device_map="cuda:0")model.config.beacon_ratio=[8]   # you can delete this line to realize random compression of {2,4,8} ratio#video input
prompt = "<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<image>\nDoes this video contain any inserted advertisement? If yes, which is the content of the ad?<|im_end|>\n<|im_start|>assistant\n"
input_ids = tokenizer_image_token(prompt, tokenizer, IMAGE_TOKEN_INDEX, return_tensors="pt").unsqueeze(0).to(model.device)
vr = VideoReader(video_path, ctx=cpu(0))
total_frame_num = len(vr)
uniform_sampled_frames = np.linspace(0, total_frame_num - 1, max_frames_num, dtype=int)
frame_idx = uniform_sampled_frames.tolist()
frames = vr.get_batch(frame_idx).asnumpy()
video_tensor = image_processor.preprocess(frames, return_tensors="pt")["pixel_values"].to(model.device, dtype=torch.float16)beacon_skip_first = (input_ids == IMAGE_TOKEN_INDEX).nonzero(as_tuple=True)[1].item()
num_tokens=TOKEN_PERFRAME *max_frames_num
beacon_skip_last = beacon_skip_first  + num_tokenswith torch.inference_mode():output_ids = model.generate(input_ids, images=[video_tensor],  modalities=["video"],beacon_skip_first=beacon_skip_first,beacon_skip_last=beacon_skip_last, **gen_kwargs)if IMAGE_TOKEN_INDEX in input_ids:transform_input_ids=transform_input_id(input_ids,num_tokens,model.config.vocab_size-1)output_ids=output_ids[:,transform_input_ids.shape[1]:]
outputs = tokenizer.batch_decode(output_ids, skip_special_tokens=True)[0].strip()
print(outputs)