【论文速看】DL最新进展202411011-图像超分、Transformer
目录
- 【图像超分】
- 【Transformer】
【图像超分】
[ICML 2024] See More Details: Efficient Image Super-Resolution by Experts Mining
论文链接:https://arxiv.org/pdf/2402.03412
代码链接:https://github.com/eduardzamfir/seemoredetails
从低分辨率(LR)输入重建高分辨率(HR)图像在图像超分辨率(SR)领域是一项重大挑战。尽管最近的方法已经展示了为各种目标定制复杂操作的有效性,但简单地堆叠这些不同的操作可能导致巨大的计算负担,从而影响其实际应用价值
。为了应对这一挑战,文中引入了SeemoRe,这是一种采用专家挖掘技术的高效SR模型。所提方法策略性地在不同层次上整合专家知识,采用了一种协作方法。在宏观层面,专家处理按等级和空间分布的信息特征,提供了全面的理解。随后,该模型通过利用一系列低秩专家的混合体,深入探讨秩选择的细微差别。通过借鉴专门从事对准确SR至关重要的不同关键因素的专家,所提模型更有利于揭示复杂的内部特征细节。这种协作方法让人联想到“看得更多”的概念,使所提模型能够在高效设置下以最小的计算成本实现最佳性能。
实验结果
【Transformer】
[NeurIPS 2024 视频Transformer] Don’t Look Twice: Faster Video Transformers with Run-Length Tokenization
论文链接:https://arxiv.org/pdf/2411.05222
代码链接:https://rccchoudhury.github.io/rlt/
由于输入标记的数量极其庞大,Transformer在视频训练上速度较慢,尽管许多视频标记会随时间重复出现。现有的去除这些无信息量标记的方法要么有显著的开销,抵消了任何加速效果,要么需要针对不同数据集和示例进行调整。我们提出了一种基于游程编码(run-length encoding)用于数据压缩的简单方法——运行长度标记化(Run-Length Tokenization,RLT),以加快视频Transformer的速度。RLT高效地找到并移除模型推理前随时间重复出现的补丁片段,然后用一个单独的补丁和一个位置编码来替换它们,以表示结果标记的新长度。我们的方法具有内容感知性,无需针对不同数据集进行调整,并且快速,只带来微小的开销。RLT在训练中带来了显著的速度提升,将视频Transformer微调的墙钟时间减少了30%,同时保持了基线模型的性能。RLT还可以在无需任何训练的情况下工作,仅用0.1%的准确性下降就将模型吞吐量提高了35%。RLT以每秒30帧的速度将训练加速超过100%,并且在较长的视频数据集上,可以将标记数量减少多达80%。
实验结果