首页 科技 正文

这个AI可以帮你女朋友自拍:用照片生成3D视频,从某个角度来说总是会让她满意的。

晓查 发自 凹非寺量子位 报道 | 公众号 QbitAI

爱自拍的女生,为了拍一张美照老是需要良久,就是为了找到最美的角度。

好比这位妹子,在本身的书架前拍了4张自摄影,都不太合意。

而今可以把选最美角度这件事交给AI了,让妹子不再苦末路。只要几张照片,它能从中生成各类角度的自拍。

然后,你可以在AI生成的视频里,找到一个自认为最美的角度,分享到朋侪圈。

这个AI就是华盛顿大年夜学和谷歌连络开辟的nerfies。

这类方式不需要太复杂的设备,只要智妙手机的摄像头和CPU就可以完成运算和衬着。这可比iPhone 12 Pro用内置激光雷达来生成3D图象的成本低多了。

道理

看到nerfies这个名字是不是是有种似曾了解的感到感染?nerfies其实就是NeRF+Selfies两个单词合并而来。

NeRF(神经辐射场)是谷歌比来开辟的一种2D图象转3D的模子,但NeRF要求拍摄对象在全部历程贯穿连接完全静止。

好比,上面的妹子在自拍4张照片的时刻,头部姿式不成避免地会产生转变,假如直接套用NeRF,后果惨不忍睹。

而nerfies则是可变性神经辐射场(Deformable NeRF),它可以或许重建非刚性变形的场景。

在NeRF的根本上,作者从几何和物理模拟的道理动身,提出了NeRF的弹性正则化,进一步提高了2D转3D的鲁棒性。

在可变性NeRF中,作者引入了弹性正则化、布景正则化和一种可避免不良的局部最小值退火手艺。

作者将潜伏变形码(ω)和外不雅码(ψ)与每一个图象联系关系。在不雅测帧中对摄像机光线进行追踪,并利用变形场将样本沿光线转换到规范帧,变形场由变形码ω编码为MLP。

别的利用转换后的样本位置(x0,y0,z0)、不雅察标的目标(θ,φ)和外不雅码ψ作为MLP的输入,来查询模板NeRF模块,并沿着光线对样本进行积分。

更多弄法

可变性NeRF不但可以用于自拍,还有更多好玩的用处。

好比成立“希区柯克变焦”的后果,畴昔需要专门的摄影技术,或是颠末历程由远及近的拍摄视频再后期措置。而今只要几张照片即可以了。

假如不需要场景角度转变,而是需要人物姿式转变呢?

可变性NeRF能在头向左和向右之间线性插入肆意姿式的照片。

最后还有一个用处是生成防抖视频。既然可变性NeRF可以生成肆意角度的图象,那末而今可让手负责抖,而让它负责稳了。

今朝作者还没有发布源代码,不外他们的项目主页上已放上了GitHub的按钮,看来他们已筹办开源了。你是不是是急如星火想试一下呢?

项目地址:https://nerfies.github.io/

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.acewise.org/kj/1857.html