终于把Vision Transformer(ViT)搞懂了!
《博主简介》
小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源,可关注公-仲-hao:【阿旭算法与机器学习】,共同学习交流~
👍感谢小伙伴们点赞、关注!
《------往期经典推荐------》
一、AI应用软件开发实战专栏【链接】
项目名称 | 项目名称 |
---|---|
1.【人脸识别与管理系统开发】 | 2.【车牌识别与自动收费管理系统开发】 |
3.【手势识别系统开发】 | 4.【人脸面部活体检测系统开发】 |
5.【图片风格快速迁移软件开发】 | 6.【人脸表表情识别系统】 |
7.【YOLOv8多目标识别与自动标注软件开发】 | 8.【基于YOLOv8深度学习的行人跌倒检测系统】 |
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】 | 10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】 |
11.【基于YOLOv8深度学习的安全帽目标检测系统】 | 12.【基于YOLOv8深度学习的120种犬类检测与识别系统】 |
13.【基于YOLOv8深度学习的路面坑洞检测系统】 | 14.【基于YOLOv8深度学习的火焰烟雾检测系统】 |
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】 | 16.【基于YOLOv8深度学习的舰船目标分类检测系统】 |
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】 | 18.【基于YOLOv8深度学习的血细胞检测与计数系统】 |
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】 | 20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】 |
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】 | 22.【基于YOLOv8深度学习的路面标志线检测与识别系统】 |
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】 | 24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】 |
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】 | 26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】 |
27.【基于YOLOv8深度学习的人脸面部表情识别系统】 | 28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】 |
29.【基于YOLOv8深度学习的智能肺炎诊断系统】 | 30.【基于YOLOv8深度学习的葡萄簇目标检测系统】 |
31.【基于YOLOv8深度学习的100种中草药智能识别系统】 | 32.【基于YOLOv8深度学习的102种花卉智能识别系统】 |
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统】 | 34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统】 |
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统】 | 36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统】 |
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统】 | 38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统】 |
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统】 | 40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统】 |
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统】 | 42.【基于YOLOv8深度学习的无人机视角地面物体检测系统】 |
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统】 | 44.【基于YOLOv8深度学习的野外火焰烟雾检测系统】 |
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统】 | 46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统】 |
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统】 | 48.【基于深度学习的车辆检测追踪与流量计数系统】 |
49.【基于深度学习的行人检测追踪与双向流量计数系统】 | 50.【基于深度学习的反光衣检测与预警系统】 |
51.【基于深度学习的危险区域人员闯入检测与报警系统】 | 52.【基于深度学习的高密度人脸智能检测与统计系统】 |
53.【基于深度学习的CT扫描图像肾结石智能检测系统】 | 54.【基于深度学习的水果智能检测系统】 |
55.【基于深度学习的水果质量好坏智能检测系统】 | 56.【基于深度学习的蔬菜目标检测与识别系统】 |
57.【基于深度学习的非机动车驾驶员头盔检测系统】 | 58.【太基于深度学习的阳能电池板检测与分析系统】 |
59.【基于深度学习的工业螺栓螺母检测】 | 60.【基于深度学习的金属焊缝缺陷检测系统】 |
61.【基于深度学习的链条缺陷检测与识别系统】 | 62.【基于深度学习的交通信号灯检测识别】 |
63.【基于深度学习的草莓成熟度检测与识别系统】 | 64.【基于深度学习的水下海生物检测识别系统】 |
65.【基于深度学习的道路交通事故检测识别系统】 | 66.【基于深度学习的安检X光危险品检测与识别系统】 |
二、机器学习实战专栏【链接】,已更新31期,欢迎关注,持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】,持续更新中~~
六、YOLO性能对比专栏【链接】,持续更新中~
《------正文------》
目录
- 摘要
- Vision Transformer(ViT)
- 关键概念
- 模型架构
- 优势
- 限制
- 代码示例
摘要
Vision Transformer(ViT)通过将最初为NLP中的顺序数据设计的Transformer架构应用于图像数据,代表了图像处理的范式转变。它通过将图像划分为固定大小的块,将它们扁平化为向量,并将它们视为类似于句子中的单词的token。然后,这些token由多个Transformer编码器层处理,其中包括用于捕获补丁之间关系的多头自注意机制,用于增强学习的前馈神经网络,以及用于稳定训练的残差连接的归一化。一个特殊的类标记用于分类,它通过一个完全连接的层进行处理以输出预测。ViT的优势包括全局上下文理解,处理不同输入大小和任务的灵活性,以及大型数据集的可扩展性。 然而,它也有局限性,如高数据要求的最佳性能和计算成本,由于自注意机制的二次复杂度。
Vision Transformer(ViT)
Vision Transformer(ViT)是一种专为图像处理任务设计的模型架构,利用了最初为自然语言处理开发的Transformer模型的概念。以下是其结构和功能的详细分解:
关键概念
Transformer:
- Transformer是一种神经网络架构,它利用自注意机制来捕获序列中元素之间的关系,使其对于涉及上下文理解的任务非常有效。
基于补丁的表示:
- 在ViT中,图像被划分为固定大小的块(例如,16x16像素)。每个补丁都被扁平化为一个向量,并被视为一个token,类似于NLP中处理单词的方式。
模型架构
输入准备:
- 输入图像被分割成不重叠的块。然后将每个面片展平并线性嵌入到向量空间中。添加位置嵌入以保留空间信息。
Transformer编码器:
- 该模型由多个Transformer编码器层组成,每个编码器层包含:
- 多头自注意力:该机制计算所有补丁对之间的注意力分数,允许模型学习关系,而不管图像中的距离如何。
- 前馈神经网络:每个注意力输出都通过前馈网络(具有激活功能)来增强学习能力。
- 层归一化和残差连接:这些用于稳定训练和提高收敛性。
分类头:
- 在通过编码器层之后,一个特殊的token(通常称为类token)用于最终分类。对应于该token的输出被馈送到分类器(通常是全连接层)以产生最终预测。
优势
全球背景理解:
- 自注意机制允许模型捕获图像中的长距离依赖关系,这对于理解复杂的视觉模式是有利的。
灵活性:
- Vision Transformers可以处理不同的输入大小,并通过微调或迁移学习来适应不同的视觉任务。
可扩展性:
- ViT可以通过调整层的数量、隐藏维度和注意力头的数量来缩放,使其适合大型数据集和复杂任务。
限制
数据要求:
- 与传统的CNN相比,Vision Transformers通常需要大量的训练数据才能表现良好,而传统的CNN可以更好地推广较小的数据集。
计算成本:
- 当处理非常高分辨率的图像时,自我注意的二次复杂性(相对于补丁的数量)可能是一个限制,尽管这在后续的Transformer模型(如Swin Transformer)中得到了缓解。
代码示例
# Define transformations
transform = transforms.Compose([transforms.Resize((224, 224)), # Resize to 224x224 for ViTtransforms.ToTensor(), # Convert to tensortransforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), # Normalize
])# Load the dataset
train_dataset = CIFAR10(root='./data', train=True, download=True, transform=transform)
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)#Load a pre-trained Vision Transformer model.
model = ViTForImageClassification.from_pretrained("google/vit-base-patch16-224-in21k", num_labels=10) # CIFAR-10 has 10 classes
model.train() # Set the model to training modecriterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5)for epoch in range(5): # Number of epochsfor images, labels in train_loader:optimizer.zero_grad() # Clear gradientsoutputs = model(images).logits # Forward passloss = criterion(outputs, labels) # Compute lossloss.backward() # Backward passoptimizer.step() # Update weightsprint(f"Epoch [{epoch+1}/5], Loss: {loss.item():.4f}")model.eval() # Set to evaluation mode# Example image
example_image = train_dataset[0][0].unsqueeze(0) # Get an image and add batch dimension
with torch.no_grad(): # Disable gradient calculationlogits = model(example_image).logitspredicted_class = torch.argmax(logits, dim=1)print(f"Predicted class: {predicted_class.item()}")
好了,这篇文章就介绍到这里,喜欢的小伙伴感谢给点个赞和关注,更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见,欢迎在评论区留言交流!