LEDNet总结

LEDNet：联合低光增强和暗光去模糊

1、暗光增强和去模糊可以单独处理，但是合并效果不理想。

研究问题的背景：光线不足 可见度颜色失真 最小快门速度有限 长时间曝光引起运动模糊 低光运动模糊同时存在

存在问题：暗光增强后运动模糊过度曝光扩大 降噪平滑去除模糊信息 增强后去模糊实现没有效果 白天场景去模糊用不到晚上 低动态范围运动线索难被感知 晚上的模糊图像的饱和区域不符合白天的模糊模型
解决：提出LEDNet网络来进行联合处理 考虑了关联任务的协同作用 编码器-解码器结构 编码器光增强 解码器去模糊 自适应跳过连接获得早期层的信息 聚合层次全局先验可以多个层次提取图像的全局信息 可学习的非线性层有助于更好的照亮黑暗

2、没有可以同时展示低光和模糊的数据集。

问题：暗光数据有 联合配对数据集无 模糊数据集缺乏饱和场景的序列 模糊模拟生成不适当 模糊模拟倾向于不减弱饱和区域的模糊
解决：数据合成管道/数据合成系统/LOL-Blur 模拟饱和区域模糊效果更加真实 新的模糊模拟方法可以保持饱和强度

3、LOL-Blur数据集

数据集大小：170个视频训练 30个视频测试 每个视频60帧 有12000对配对数据

传统低光模拟：利用伽马矫正非线性调整亮度 带有暖色调的色差
论文的低光模拟：EC-Zero-DCE模拟

传统模糊模拟：传统方法高帧率连续帧平均模拟 对于暗光图像饱和像素区域不准确
论文的模糊模拟：恢复饱和区域的剪辑强度

数据集制作：250fps录制200个视频 分辨率缩小到1120*640大小 VBM4D算法去噪得到干净的视频序列 7或9帧作为一个序列片段 中间帧为真实图像

4、低光模糊图像生成

暗化处理：Zero-DCE的反向曲线模拟低光环境 改变曝光控制损失 像素级和空间变换的光照调整
帧插值：帧率提升2000fps

饱和区域的剪辑反转：这样做的目的是恢复之前被忽略的强度信息，使模糊模型能够更准确地处理饱和区域。
1、定义饱和区域：在Lab颜色空间中，亮度通道 L 的取值范围是 [0, 100]。我们将亮度值大于某个阈值 δ 的区域定义为饱和区域。在这个例子中，经验性地设置 δ=98，即亮度值大于98的区域被认为是饱和区域。
2、添加随机补充值：对于每个饱和像素，我们在其RGB通道上添加一个随机补充值 r，这个值是从均匀分布 U(20,100) 中随机抽取的。
3、重新表述模糊模型

想象你有一张照片，其中有一些非常亮的区域（比如灯光或反光），这些区域的亮度值已经达到了最大值。当你尝试对这张照片进行模糊处理时，这些非常亮的区域可能会变得不那么亮，从而失去了原有的细节。为了解决这个问题，我们可以在这些非常亮的区域上添加一些随机的亮度值，让它们看起来更接近原来的亮度。这样，当我们对整张照片进行模糊处理时，这些非常亮的区域就能保留更多的细节，使得模糊效果更加真实。通过这种方法，我们不仅能够处理普通的模糊区域，还能更好地处理那些非常亮的饱和区域，从而得到更高质量的模糊图像。

帧平均：视频中的56或者72帧进行平均 生成24fps的虚拟模糊视频
添加散焦模糊和噪声：广义高斯滤波器（智能模糊器）加CycleISP（是一个网络 智能图像处理工具）生成的图像添加了散焦模糊

5、LEDNet

结构：低光增强和去模糊 非盲图像恢复问题 可见性和问理性混合退化 这两种退化具有空间变化性（退化程度和位置有关系）基于编码器解码器结构 滤波自适应跳过连接（传统跳过连接增加了滤波器）
低光增强编码器：
中间增强损失的监督下工作（在中间进行损失函数的计算 对中间增强效果进行监督）
残差块：几个卷积层加跳跃连接 卷积层输出与输入相加
残差下采样块：结合了残差连接和下采样操作（池化或者步长大于1的卷积）
PPM块：
曲线非线性单元CurveNLU：

Lab颜色空间