当前位置: 首页 > news >正文

【论文速看】DL最新进展202411011-图像超分、Transformer

目录

    • 【图像超分】
    • 【Transformer】

【图像超分】

[ICML 2024] See More Details: Efficient Image Super-Resolution by Experts Mining

论文链接:https://arxiv.org/pdf/2402.03412

代码链接:https://github.com/eduardzamfir/seemoredetails

从低分辨率(LR)输入重建高分辨率(HR)图像在图像超分辨率(SR)领域是一项重大挑战。尽管最近的方法已经展示了为各种目标定制复杂操作的有效性,但简单地堆叠这些不同的操作可能导致巨大的计算负担,从而影响其实际应用价值。为了应对这一挑战,文中引入了SeemoRe,这是一种采用专家挖掘技术的高效SR模型。所提方法策略性地在不同层次上整合专家知识,采用了一种协作方法。在宏观层面,专家处理按等级和空间分布的信息特征,提供了全面的理解。随后,该模型通过利用一系列低秩专家的混合体,深入探讨秩选择的细微差别。通过借鉴专门从事对准确SR至关重要的不同关键因素的专家,所提模型更有利于揭示复杂的内部特征细节。这种协作方法让人联想到“看得更多”的概念,使所提模型能够在高效设置下以最小的计算成本实现最佳性能

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
实验结果

在这里插入图片描述


【Transformer】

[NeurIPS 2024 视频Transformer] Don’t Look Twice: Faster Video Transformers with Run-Length Tokenization

论文链接:https://arxiv.org/pdf/2411.05222

代码链接:https://rccchoudhury.github.io/rlt/

由于输入标记的数量极其庞大,Transformer在视频训练上速度较慢,尽管许多视频标记会随时间重复出现。现有的去除这些无信息量标记的方法要么有显著的开销,抵消了任何加速效果,要么需要针对不同数据集和示例进行调整。我们提出了一种基于游程编码(run-length encoding)用于数据压缩的简单方法——运行长度标记化(Run-Length Tokenization,RLT),以加快视频Transformer的速度。RLT高效地找到并移除模型推理前随时间重复出现的补丁片段,然后用一个单独的补丁和一个位置编码来替换它们,以表示结果标记的新长度。我们的方法具有内容感知性,无需针对不同数据集进行调整,并且快速,只带来微小的开销。RLT在训练中带来了显著的速度提升,将视频Transformer微调的墙钟时间减少了30%,同时保持了基线模型的性能。RLT还可以在无需任何训练的情况下工作,仅用0.1%的准确性下降就将模型吞吐量提高了35%。RLT以每秒30帧的速度将训练加速超过100%,并且在较长的视频数据集上,可以将标记数量减少多达80%。

在这里插入图片描述

在这里插入图片描述
实验结果
在这里插入图片描述



http://www.mrgr.cn/news/70708.html

相关文章:

  • 《Shader 入门精要》学习笔记 茵蒂克丝
  • 理解折半查找法
  • 27、js中声明变量
  • Oracle-表空间/用户的创建与使用
  • Android仿前端分页组件pagination
  • Cmakelist.txt之win-c-udp-client
  • 分布式----Ceph部署(上)
  • 软件测试中的PIE模型
  • 11个简单易用的电商购物车设计案例
  • 算法每日双题精讲——滑动窗口(长度最小的子数组,无重复字符的最长子串)
  • 探索 Java 中的线程池自定义技巧:高效、灵活地管理并发任务!
  • D-Link NAS设备 account_mgr.cgi 未授权RCE漏洞复现(CVE-2024-10914)
  • 【linux】网络基础 ---- 应用层
  • PCL 点云拟合 Ransac拟合圆柱
  • FastHTML快速入门:服务器渲染超媒体应用的利器
  • 并发编程(9)——Actor/CSP设计模式
  • js 数据类型=》理解=》应用
  • 【Android、IOS、Flutter、鸿蒙、ReactNative 】文本点击事件
  • 工具收集 - java-decompiler / jd-gui
  • Property ‘name‘ does not exist on type ‘Object‘.
  • 三十七、Python基础语法(异常)
  • 没有想到AI以这样的方式入侵人类——AI泛滥——关于AI的冷思考
  • 避免内存陷阱:掌握memcpy和memmove的正确用法
  • 智慧园区解决方案:科技赋能,打造未来管理新典范
  • 常见计算机网络知识整理(未完,整理中。。。)
  • Linux(CentOS)项目总结(前后端分离)