首页 科技 正文

GAN“真脸捏”已经上线,照片逼真,没有死角:脸和五官都可以控制。

萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI

利用GAN生成的2D人脸模子很漂亮,然则却究竟缺了点甚么?

没错,当然GAN能生成真切的人脸,但距离本身空想的人脸,总有那末一点不完善——脸部脸色、脸上皱纹、发质……

由于GAN没举措进行参数调控,即使人脸再真切,也没举措节制五官等细节。

而今,一个新模子GIF(Generative Interpretable Faces)的呈现打破了这一定律:

不但能用GAN生成真切的人脸,而且还能颠末历程具体的参数节制它。

这是怎样做到的?

用3D模子的参数,节制2D照片

今朝的3D和2D人脸生成模子,在真实性和参数可控这两方面,有着很大年夜的不同。

3D人脸的参数可以分为几种:脸型转变、姿式不同、脸色转变。

然则,今朝生成的3D人脸模子遍及存在一个问题:与真实的人脸相差甚远。

由于不管是头发、眼睛、肤质(皱纹)或口腔(牙齿、舌头),今朝的3D人脸模子都难以进行真实的模拟。

与之相反的是,2D人脸生成模子(如今朝很火的StyleGAN、StyleGAN2等)当然能实现照片级模拟,但却没举措自力更改如脸部外不雅、外形或脸色等参数。

那末,有没有举措将这两类人脸模子的优势连络起来,行使3D模子的参数节制,生成可以节制具体环节的2D照片呢?

抱着如许的设法,研究者们将2D人脸生成模子StyleGAN2,与一个名为FLAME的3D人脸生成模子进行告终合,以下图所示。

本来在StyleGAN2中,会插入一部分随机噪音,用于调理局部纹理的转变,而今则是将FLAME模子生成的纹理和常规衬着看成这个噪声,输入StyleGAN2中,以对生成的图象产生直接影响。

在这个中,生成的图象会被投影到3D人脸生成模子的网格(mesh)上,获得一个不完全的纹理图,也就是所谓的“纹理窃取”(texture stealing)。

从下图可见,“纹理窃取”看起来就像是把人脸分成了几部分,强行进行了拼集。

事实上,这是用3D模子,来对人脸进行参数节制的主要步调。在进行像素对齐后,模子参数与生成图象之间的像素局部联系关系就可以变得清楚。

也就是说,这生平成模子不但能行使GAN的特点,生成真切的人脸图象,还能按照3D模子给出的参数,进行人脸细节的调控。

那末,这一模子的后果具体若何呢?

各类细节都能变

从节制环境来看,参数对人脸模子的节制照样不错的。

下图是改变参数对人脸酿成的影响。

与第一行比拟,第二行改变了发型,第三行主要改变了小我身份,第四行改变了五官参数,第五行改变了姿式,第六行改变了外不雅,第七行则是对肤色和光照角度的改变。

可以看出,参数对人脸的节制照样较量明明的。

假如想不好要生成甚么样的人脸,也可以或许用随机采样的模式。

从下图可以看出,从春秋、肤色、脸色、姿式等来看,模子也保存了GAN的后果,生成的人脸图象也具有非终大年夜的不同性,但无一破例都比较真切。

当然,GAN该有的那些弄法,这个模子也有,不但能生成口对口动画,还能与语音相连络生成演讲模子。

具体到图象质量,GIF的FID得分也异常不错(数值越低越好)。

比拟于动画捏脸模子,这个GAN版捏脸模子,可以说长短常真切了。

作者介绍

一作Partha Ghosh,来自马普所,研究范畴触及较量争论机视觉、较量争论机图形学和机械进修的交叉学科,教较量争论机若何看待和理解人类步履。

二作Pravir Singh Gupta,来自德州农工大年夜学,今朝是一名博士生。配合二作Roy Uziel,来自内盖夫本-古里安大年夜学,今朝在马普所演习。

别的,作者还有Anurag Ranjan、Michael Black和Timo Bolkart,他们都来自马普所。

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.acewise.org/kj/1969.html