LAN网络结构由三个主要模块组成:反射率估计模块、光照增强模块和合成模块。在处理

酸酸甜甜小苏 2025-06-08 05:14:07

LAN网络结构由三个主要模块组成:反射率估计模块、光照增强模块和合成模块。在处理低光视频时,网络首先将输入的视频帧序列拼接在一起,通过一个残差块将它们投影为嵌入特征。这一步骤是为了捕获视频序列中的时空信息,为后续的反射率估计提供更丰富的上下文。 反射率估计模块采用层次化结构,包含4个阶段,每个阶段由特征提取块和下采样层组成。特征提取块的设计借鉴了非局部神经网络的思想,能够捕获图像中的长距离依赖关系。这种设计使得模块能够更好地理解图像中的全局结构和局部细节之间的关系,从而更准确地估计反射率成分。 光照增强模块是LAN的核心创新点,它采用迭代精细化的方式来增强光照成分。与传统的一次性增强方法不同,这种迭代方式允许网络逐步调整光照强度,更加灵活地适应不同的照明条件。具体来说,该模块首先通过预训练的编码器将输入帧编码为潜在表示,然后在这个低维表示空间中进行迭代精细化。 迭代精细化过程的妙处在于它使光照成分可以通过改变迭代次数来调整。每一次迭代都会生成一个稍微增强的光照表示,经过多次迭代后,可以得到明显增强的光照效果。在训练过程中,不同迭代步骤的目标光照被定义为低光帧和对应正常光照帧的混合表示,混合比例随迭代步骤增加而变化。这种设计使网络能够学习到从低光到正常光照的平滑过渡。 为了使网络能够在不同场景下自适应地调整光照,LAN引入了一种基于统计假设检验的自适应光照调整机制。这一机制的基本思想是将正常光照样本的强度分布建模为高斯分布,并对生成的光照成分的强度进行假设检验。如果检验结果表明当前光照强度显著低于正常光照的平均强度,那么网络会继续迭代以生成更高强度的光照成分;否则,网络会停止迭代并输出当前的光照结果。 合成模块接收估计的反射率成分和增强的光照成分,将它们融合成最终的增强结果。这个模块同样采用层次化结构,包含4个阶段,每个阶段由特征融合块和上采样层组成。为了更好地恢复图像细节,合成模块还使用了跳跃连接,将反射率估计模块的相应阶段特征直接连接到合成模块中。 LAN的训练过程分为三个阶段。第一阶段,训练一个变分自编码器来编码输入帧到潜在空间。第二阶段,训练用于迭代精细化的U型网络,使其学习从一个光照表示到下一个光照表示的映射。第三阶段,训练整个网络,包括反射率一致性损失,这一损失鼓励低光帧和配对正常光照帧的反射率成分保持一致。

0 阅读:0
酸酸甜甜小苏

酸酸甜甜小苏

酸酸甜甜小苏