AniTalker：通过静态的肖像和输入音频，生成栩栩如生的说话视频

AniTalker，这是一个创新框架，跟阿里的Emo、微软的VASA-1类似，能通过语音驱动，使用图片生成带有表情和头部动作的视频。通过静态的肖像画和输入音频，生成栩栩如生的说话视频。不仅能保持嘴唇同步且能够捕捉到面部表情和非言语线索的复杂动态，最长支持超过3分钟的超长动态视频生成。

现有模型主要关注唇形同步等语言线索，无法捕捉面部表情和非语言线索的复杂动态，与此不同的是，AniTalker 采用了通用的运动表示。这种创新的表现方式有效地捕捉了广泛的面部动态，包括微妙的表情和头部运动。 

AniTalker通过两种自监督学习策略增强运动描绘：

第一种涉及从同一身份内的源帧重建目标视频帧以学习微妙的运动表示。

第二种使用度量学习开发身份编码器，同时主动最小化身份之间的互信息和运动编码器。这种方法确保运动表示是动态的并且没有特定于身份的细节，从而显着减少对标记数据的需求。

此外，扩散模型与方差适配器的集成允许生成多样化且可控的面部动画。这种方法不仅展示了 AniTalker 创建详细且真实的面部动作的能力，而且还强调了其在为现实世界应用制作动态头像方面的潜力。

AniTalker功能特征：

面部动画生成：通过输入静态的肖像和音频，生成栩栩如生的说话视频。不仅包括口型同步，还包括与说话内容匹配的面部表情和头部动作。

多样化和可控性：可以根据不同的输入和参数设置，生成各种不同表情和动作的面部视频。

真实感和动态表现：能很好地捕捉细微的面部动态和复杂的非言语信息，如眨眼、微笑等。

长视频生成：AniTalker 可以生成较长的面部动画视频，演示视频显示，最长可以超过3分钟，适用于多种应用场景，如虚拟助理、数字人物表演等。

AniTalker论文地址：https://arxiv.org/abs/2405.03121

AniTalker源码见下面链接：

https://x-lance.github.io/AniTalker/