LBM是什么
LBM（Latent Bridge Matching）是Jasper Research团队推出的新型图像到图像转换框架，基于在潜在空间中构建桥匹配实现快速高效的图像转换。LBM仅需单步推理完成任务，适用多种图像转换场景，如目标移除、重打光、深度和法线估计等。LBM用布朗桥在源图像和目标图像之间建立随机路径，增加样本多样性。条件框架能实现可控的阴影生成和图像重光照。LBM在多项任务中达到或超越现有方法的最佳性能，展现出强大的通用性和高效性。
LBM的主要功能
- 目标移除：从图像中移除指定对象及其相关阴影，保持背景的完整性。
- 图像重光照：根据给定的背景或光照条件重新照亮前景对象，去除现有阴影和反射。
- 图像修复：将退化图像转换为干净图像，恢复图像的原始质量。
- 深度/法线图生成：将输入图像转换为深度图或法线图，用在3D重建等任务。
- 可控阴影生成：根据光源的位置、颜色和强度生成阴影，增强图像的真实感。
LBM的技术原理
- 潜在空间编码：将源图像和目标图像编码到一个低维的潜在空间，减少计算成本提高模型的可扩展性。
- 布朗桥（Brownian Bridge）：在潜在空间中构建一条随机路径（布朗桥），连接源图像和目标图像的潜在表示。随机性支持模型生成多样化的样本。
- 随机微分方程（SDE）：基于求解随机微分方程（SDE）预测路径上的潜在表示，实现从源图像到目标图像的转换。
- 条件框架：引入额外的条件变量（如光照图），LBM能实现可控的图像重光照和阴影生成。
- 像素损失：在训练过程中，用像素损失（如LPIPS）优化模型，确保生成的图像与目标图像在视觉上的一致性。
LBM的项目地址
- 项目官网：https://gojasper.github.io/latent-bridge-matching/
- GitHub仓库：https://github.com/gojasper/LBM
- arXiv技术论文：https://arxiv.org/pdf/2503.07535
- 在线体验Demo：https://huggingface.co/spaces/jasperai/LBM
LBM的应用场景
- 普通用户：日常照片编辑，移除多余物体、修复老照片、调整光照。
- 摄影爱好者：后期处理，增强照片真实感，添加或调整阴影。
- 平面设计师：创意设计，生成深度/法线图，快速修复和调整图像。
- 视频编辑师：视频制作，修复视频帧，调整对象光照和阴影。
- 3D建模师：从照片生成深度/法线图，辅助3D建模。