DiffuEraser是什么
DiffuEraser是基于稳定扩散模型的视频修复模型，以更丰富的细节和更连贯的结构填充视频中的遮罩区域。模型通过结合先验信息来提供初始化和弱条件，有助于减少噪声伪影和抑制幻觉。为了在长序列推理期间提高时间一致性，DiffuEraser 扩展了先验模型和自身的时间感受野，进一步基于视频扩散模型的时间平滑特性来增强一致性。 DiffuEraser 的网络架构受 AnimateDiff 的启发，将运动模块集成到图像修复模型中。主要由主去噪 UNet 和辅助的 BrushNet 组成。BrushNet 分支接收由遮罩图像、遮罩和噪声潜变量组成的条件潜变量输入。BrushNet 提取的特征在经过零卷积块后逐层整合到去噪 UNet 中。去噪 UNet 处理噪声潜变量。为了增强时间一致性，模型在自注意力和交叉注意力层之后引入了时间注意力机制。去噪后，生成的图像使用模糊遮罩与输入的遮罩图像进行融合。
DiffuEraser的主要功能
- 未知像素的生成：基于稳定扩散模型的强大生成能力，DiffuEraser能为视频中从未出现过的像素生成合理且具有丰富细节和纹理的内容，有效解决了传统Transformer模型在处理大遮罩时常见的模糊和马赛克问题。
- 已知像素的传播：DiffuEraser通过运动模块和先验模型的增强传播能力，确保已知像素（在某些遮罩帧中出现过的像素）能在不同帧之间充分且一致地传播。防止修复内容与未遮罩区域之间的冲突，提高结果的正确性和稳定性。
- 时间一致性维护：在长序列推理期间，DiffuEraser通过扩展先验模型和自身的时间感受野，基于视频扩散模型的时间平滑特性，增强了所有帧之间完成内容的时间一致性。
- 先验信息的注入：DiffuEraser通过注入先验信息来提供初始化和弱条件，有助于减少噪声伪影，抑制扩散模型常见的视觉幻觉，生成更准确、更真实的修复结果。
- 网络架构优化：DiffuEraser的网络架构受到AnimateDiff的启发，将运动模块集成到图像修复模型BrushNet中，通过在自注意力和交叉注意力层之后引入时间注意力机制，进一步增强了时间一致性。
DiffuEraser的技术原理
- 网络架构：DiffuEraser的网络架构受到AnimateDiff的启发，将运动模块集成到图像修复模型BrushNet中。架构主要由主去噪UNet和辅助的BrushNet组成。BrushNet分支接收由遮罩图像、遮罩和噪声潜变量组成的条件潜变量输入，提取的特征在经过零卷积块后逐层整合到去噪UNet中。去噪UNet负责处理噪声潜变量。为了增强时间一致性，模型在自注意力和交叉注意力层之后引入了时间注意力机制。去噪后，生成的图像使用模糊遮罩与输入的遮罩图像进行融合。
- 视频修复问题的分解：DiffuEraser将视频修复问题分解为三个子问题：已知像素的传播、未知像素的生成以及完成内容的时间一致性维护。
- 时间一致性优化：为了在长序列推理期间提高时间一致性，DiffuEraser采取了以下策略：
- 扩展先验模型的时间感受野：通过预传播和预推理，先验模型能跨越整个时间域传播已知像素，确保完成内容与未遮罩区域的一致性，稳定结果。
- 扩展DiffuEraser的时间感受野：通过预推理，DiffuEraser能够处理更广泛的视频帧，确保在长序列推理中生成内容的一致性。
DiffuEraser的项目地址
- 项目官网：https://lixiaowen-xw.github.io/DiffuEraser-page/
- GitHub仓库：https://github.com/lixiaowen-xw/DiffuEraser
- arXiv技术论文：https://arxiv.org/pdf/2501.10018
DiffuEraser的应用场景
- 电影和电视剧后期制作：在电影或电视剧的后期制作中，DiffuEraser可以用于修复视频中的遮罩区域，提升视频质量，进行去模糊和超分辨率处理，适应不同分辨率的播放需求。
- 老电影修复：对于老旧影片的数字化修复，DiffuEraser能去除胶片的划痕、灰尘和其他退化，提升分辨率，让老电影焕发新生。
- 监控视频增强：在安全监控领域，DiffuEraser可以增强监控视频的清晰度，帮助识别细节，提高监控效率。
- 视频内容转换：内容创作者可以用DiffuEraser将标准清晰度(SD)的视频内容转换为高清(HD)或4K，满足现代显示设备的需求。
- 体育赛事直播：在体育赛事直播中，DiffuEraser可以用于实时视频流的增强，提供更清晰的观看体验。