首页 科技 正文

博士研究生论文答辩人不来,老师还赞叹不已!上海交通大学ACM同学演译融会贯通

边策 萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI

疫情之下,我们已看惯了线上的一切:云卒业典礼、云学术会议、云发布会。

但这些“云”究竟让人感到感染没“内味”。

由于没怀孕后的PPT投影、手舞足蹈的演讲,终归都是没有魂魄的!

所以,上海交大年夜ACM班校友、南加州大年夜学在读博士黄锃用专业常识,给本身办了场非凡的博士论文答辩。

他只有一个摄像头,家里没有投影仪,却把本身的答辩会办得像在会堂演讲一样。

演讲人从2D酿成3D,卧室背后的白墙也酿成本身显现论文PPT的幕布。

右上角就是真实的黄锃同学,他一边演讲,电脑实时把他酿成3D模子投影参与景中,导师们看到这一幕不由笑了,顺手就是一个转发。

在黄锃同学的主页上,我们发现了他的学弟李瑞龙早就最早“整活”,验证了3D论文答辩的可行性。

而今黄锃同学的这项研究已被ECCV 2020收录。

背后的手艺

黄锃畴昔就一向从事3D图象重建的研究工作,客岁他参与的一项研究PIFu(像素对齐隐式函数)可以从单张图片重建完全纹理的3D人体图象。

然则由于PIFu对硬件的要求很高,致使该手艺其实不克不及用于实时的图象重建。

为此,黄锃和团队里的李瑞龙、修宇亮等一路提出了一种新奇的分层外面定位算法,和一种无需显式提取外面网格的直接衬着方式。

颠末历程从粗到细的体式格局选择没需要要的区域进行评估,成功地将3D重建速度提高了两个数量级,同时没有下降质量。

后果证实,这类从单摄像头实时重建3D视频的方式,措置速度可达15fps,3D空间分说率为2563。

为了削减实时3D重建所需的较量争论量,作者引入了两种新奇的加速手艺:基于八叉树的鲁棒外面定位、无网格衬着。

由于算法流水线的主要瓶颈,是要在过量的3D位置上进行估计,是以,削减要估计的点数将大年夜大年夜提高性能。

八叉树是用于有用外形重构的通用数据透露显露,它可以分层削减存储数据的节点数量。

作者提出的这类外面定位算法,保存了本来靠蛮力重建的正确性,而且复杂度与基于朴质八叉树的重建算法不异。

别的,作者颠末历程直接从PIFu生成的视图衬着,来绕过显式网格重建阶段。下图显现了无网格衬着算法的道理,虚线和实线划分透露显露真实外面和重建外面。

连络这两种算法,可以实时从肆意角度快速衬着3D图象。

该算法还面临一个问题,那就是有些非凡的姿式和视角很难恢复,由于它们只在演习数据集中占有很小的一部分。

一般的方式是进行数据扩大,然则对这类3D数据来作扩增是很坚苦的。

然则,之前的研究证实,改变数据采样漫衍会直接影响重建的质量,是以作者找到了一种解决演习数据误差的方式OHEM。

其关头思惟,是让收集主动发现坚苦的样本,自适应地更改采样概率。

最后,作者的方式在没有任何超参数的环境下实现了最快加速,在贯穿连接原始重建精度的同时,措置速度从30秒削减到0.14秒。

与无网格衬着手艺相连络后,措置一帧图象的时候只需0.06秒。系统的整体延迟平均为0.25秒。

这类方式不需要搭建搭建具有多个视角摄像头的工作室,让通俗人也能用上实时的3D演讲视频。

作者指出,本文的主要供献点在于:

1、从单眼视频中实时生成3D全身视频,可以在各类姿式和服装类型下机关出完全纹理的衣服,而不受拓扑束缚。

2、提出一种渐进式外面定位算法,可使外面重建比基线快两个数量级,而且不会影响重建精度,在速度和正确性之间做了很好的弃取。

3、提出无需清楚提取外面网格即可直接用于视图合成的衬着手艺,进一步提高了整体性能。

4、提出一种有用的演习手艺,可解决合成生成的演习数据不服衡问题。

和全息投影比拟?

乍一看投影后果,是不是是想到了马云本年在人工智能大年夜会上,行使商汤全息投影完成的演讲?

当然也是将人的影响投影到别的一处场景中,不外两者的性质完全分歧。

全息投影成像的道理,是行使光的干与和衍射,再现出物体真实的三维图象纪录。

而此次的虚拟答辩后果,实际上是行使AI将摄像头拍到的2D人物图象,转换成3D的后果。

也就是说,两者不管是从道理、照样从设备需求来讲都不一样。

不但如此,利用的场景也有所分歧。

全息投影更偏重于真实场景下「互动」的后果,也就是说,你在线下场景中,可以与一个投影出的3D版「真人」互动、或是听一场3D全息投影的演唱会等。

但此次的虚拟3D生成手艺,则是偏重于在电子设备上将2D图象视频模拟出3D后果。

不管是衰弱脆弱的2D视频、照样没法行使视频显现的2D照片,行使这项手艺都可以还原出仿真的人物形象。

也就是说,一台摄像机拍出来的通俗2D后果,行使这项手艺就可以转换成后果斐然的3D图象。

关于作者

用这项手艺答辩的黄锃,本科卒业于上海交通大年夜学ACM班。而这项实时手艺的主要供献,则来自他合作的两位学弟。

这篇论文的两个一律供献的第一作者,划分是两位黄锃的博士一年级学弟李瑞龙、修宇亮。

李瑞龙卒业于清华根本科学班,在清华获得了物理和数学学士学位,和较量争论机科学硕士学位。

修宇亮则卒业山东大年夜学软件工程学院数字媒体手艺专业,本科时期他照样专业第一,之落伍入上海交大年夜获得较量争论机硕士学位。

至于黄锃本身,他在高中时就曾获得全国中学生物理奥赛金牌,进入上海交大年夜ACM班就读后,本科四年均获奖学金,还顺便在数学建模美赛(MCM)上拿了个一等奖。

本科时期,黄锃曾在微软亚洲研究院演习,师从首席研究员曾文军,参与机械进修、深度神经收集相干的科研课题中。

△曾文军,图源:微软亚洲研究院

也是在这里,他最早深切地熟悉和把握深度进修的焦点概念和技术,也最早当真思虑机械进修的现状和成长。

李瑞龙、修宇亮、黄锃均师从较量争论机图形学范畴驰名的黎颢传授,主要研究标的目标是连络几何措置和深度进修的虚拟人体重建。

△黎颢

博士时期,黄锃曾在Facebook演习,共有9篇论文颁发在论文顶会上,个中SIGGRAPH 1篇,ECCV 2篇,CVPR 2篇,ICCV 3篇,ICLR 1篇。

黄锃比来的一项研究ARCH,则颁发在CVPR 2020上,这项研究首假如关于穿戴衣服人的3D可动画化重构。

而黄锃最「出圈」的研究,是一项名为PIFu的2D图象转3D手艺,在国外社交媒体上被网友拿来模拟了各类2D物体图象。

有日本网友行使PIFu的手艺,将照片上的奥黛丽·赫本和坂本龙马「请」到了本身的家里。

3D的后果照样很不错的。(就是,是非的图象看起来略有点阴沉…)

论文地址:https://arxiv.org/abs/2007.13988

视频介绍:https://www.bilibili.com/video/av753971174/

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.acewise.org/kj/1064.html