在NeurIPS 2022上,南洋理工大学-商汤科技联合研究中心S-Lab提出了一种基于VQGAN+Transformer的人脸复原模型CodeFormer,效果是真的强大。

CodeFormer由一个专家研究人员和工程师团队开发,利用了基于transformer的架构和注意力机制的新颖组合,这使它有别于其前辈。

transformer架构允许CodeFormer捕捉图像中的远程相关性,使其特别擅长重建可能因年龄或损伤而丢失的复杂面部特征。

此外,CodeFormer采用自我注意机制,使模型能够专注于面部的相关区域,并强调恢复过程中的关键元素。这种注意力驱动的方法确保最关键的细节,如眼睛、嘴唇和面部轮廓,被准确地重建,从而产生非常逼真和视觉上吸引人的结果。

CodeFormer主要特点:

  • CodeFormer是一个强大的人工智能工具,用于恢复旧图像和生成逼真的人工智能面孔,利用基于变压器的架构和注意力机制。

  • CodeFormer的深度学习功能通过增强颜色、恢复面部细节和减少噪音来恢复历史照片的活力,保留珍贵的记忆。

  • 通过CodeFormer的用户友好界面,预处理图像、选择目标、自定义设置并获得令人惊叹的结果,轻松恢复旧照片。

  • CodeFormer的高级transformer架构允许它通过在不同的数据集上进行训练和微调设置来生成高度逼真的AI人脸,以获得独特的结果。

  • 负责任地使用和监管人工智能生成的人脸对于避免deepfakes等潜在问题至关重要,确保该技术服务于积极和道德的目的。

  • 人工智能生成的人脸在各个领域都有应用,从视频游戏和电影到虚拟现实,通过栩栩如生的角色和化身来丰富视觉内容。

  • CodeFormer代表了人脸恢复和人工智能生成人脸的重大进步,负责任的利用将为具有积极社会影响的光明未来铺平道路。

CodeFormer安装环境准备

python:官网下载地址:https://www.python.org/downloads/

git:官网下载地址:https://git-scm.com/

conda官网下载地址:https://www.anaconda.com/products/distribution

Pytorch >= 1.7.1。官网地址:https://pytorch.org/

CUDA >= 10.1。英伟达独立显卡,cuda引擎大于10.1。否则只能通过cpu解码(CPU解码性能弱于GPU)

安装python、git、conda

安装python注意点:

pyghon一定不能最新版,不要高于3.10.9版本,教程使用3.10.9成功安装。

运行.exe程序后,一定勾选add .exe to path。把python添加到环境变量,如果不勾选,安装后就需要资源配置环境变量。

python安装成功后,cmd命令行输入python –version会显示版本信息。

安装conda注意点:

安装好后需要自己配置环境变量。或者在安装过程勾选加入环境变量,不过我发现勾选后会红字提示可能出问题,所以没有勾选。网上有直接勾选的可以试试。成功后,在cmd输入conda –version会显示版本信息。

CodeFormer开源项目地址

https://github.com/sczhou/CodeFormer