IC-Light是一个开源项目，可以控制图像中的照明效果，用户根据文本提示或参考背景图像重新生成具有特定照明的图像。
IC-Light提供两种类型的模型：文本条件重新照明模型和背景条件模型，这两种模型都需要前景图像作为输入。
文本条件模型使用户能够输入文本提示（例如，“左侧光”、“阳光”），以生成具有特定照明方向和特性的图像。例如，用户可以输入“来自窗户的阳光，舒适的氛围，卧室”和左侧的灯光偏好，模型将生成具有左侧照明效果的图像，模拟从左侧窗户射入的阳光，营造出温暖的氛围。
背景条件模型通过合并背景提示信息，允许对前景对象进行不同风格的照明更改，而无需复杂的提示。只需提供“电影照明”之类的描述即可轻松生成图像。该模型生成具有与背景相匹配的适当照明的前景图像，呈现电影风格。
IC-Light通过利用HDR（高动态范围）图像中透光的独立性来实现一致的照明，确保不同光源的混合与混合光源的效果一致。这是通过在模型训练期间引入 MLP（多层感知器）来实现的，使模型能够产生高度一致的重新照明效果。
在潜在变量空间中的训练使模型能够学习不同照明条件之间的映射关系，从而实现重新照明效果的一致性。这种一致性功能甚至允许将不同的重新照明效果合并到法线贴图中。
从技术上讲，IC-Light利用了HDR空间中光的独立性，其中光传输是独立的，并且在数学上混合不同的光源（理想情况下在HDR空间中）产生与多个光源同时作用相同的结果。通过在潜在空间中使用MLP来实现一致性建模，以确保不同光源的组合和透射是一致的。
IC-Light模型使用潜在扩散技术，在潜在空间中实现了学习和重新照明操作，在各种照明条件下产生了高度一致的效果。这些结果非常一致，即使模型没有直接在法线贴图数据上进行训练，也可以将不同的照明条件合并到法线贴图中。
输出包括输入图像、模型的重新照明效果、分离的阴影图像和合并的法线贴图。该项目展示了HDR空间中“外观混合”和“光源混合”图像的一致性，确保了不同光源组合的模型输出一致性，从而稳定地合成了各种照明效果。
GitHub代码：https://github.com/lllyasviel/IC-Light 获得，
IC-Light演示：https://huggingface.co/spaces/lllyasviel/IC-Light 访问。
