首页 科技 正文

爱奇艺谢丹明:AI让创作者提高效率,让消费者简单快乐。

编纂部 清算自 MEET 2021量子位 报道 | 公众号 QbitAI

AI手艺,事实能在哪些行业实现范围化利用?

这是视频行业面临AI浪潮,交出的一份答卷:

素材智能检索、老片子修复、音色克隆、虚拟动漫偶像……

爱奇艺将最前沿的AI手艺,落地到视频创作、内容分发中去,真正让创作者晋升效率、让消费者简单欢愉。

在MEET 2021智能将来大年夜会现场,爱奇艺副总裁谢丹铭透露显露:

用AI连络科技与艺术,能增进全部财产的升级成长。

在不改变原意的根本上,量子位对谢丹铭的演讲进行了编纂清算。

关于MEET 智能将来大年夜会:MEET大年夜会是由量子位主办的智能科技范畴顶级贸易峰会,致力于切磋前沿科技手艺的落地与行业利用。本次大年夜会现场有李开复等20余位行业顶级大年夜咖分享,500余名行业不雅众参与,逾越150万网友在线收看直播。包孕新华社、搜狐科技、彭湃新闻、封面新闻等数十家主流媒体在内纷纭报道,线上总暴光量累计逾越2000万

演讲要点

这场疫情,极大年夜地晋升了手艺、稀奇是智妙手艺在财产中的主要性。今朝,国内有上万部需要被解救、庇护的胶带片子。假如行使AI修复,即可以省去80%的繁复工作。爱奇艺为内容创作者供应了一个素材库,让他们不再需要去盗版网站找视频素材。我们希望下降告白对用户的打搅程度,让告白也能成为用户获得信息的手段。颠末历程AI,将科技与艺术进行连络,就可以增进全部财产的升级成长。用AI让创作者晋升效率,让消费者简单欢愉。(以下为谢丹铭演讲分享全文)疫情加速视频创作智能化今天,我演讲的标题问题是“智能时期的内容创作与消费”。期近将畴昔的2020年里,多半财产承受较大年夜冲击,显现出一个或深或浅的“V”字型走势。演讲之前,孟鸿师长教师问了我一个问题:爱奇艺和视频行业,应当会是疫情的受益者?其实不然。如大年夜家所见,年初由于疫情,良多人在家办公,加上寒假,我们的消费指数飙升得很高。但在这今后,上下贱和合作伙伴遭到疫情冲击,我们也难以独善其身。在疫情时期,由于良多片子没法拍摄,呈现了内容供给跟不上、告白预算大年夜幅削减的环境。

颠末思虑,我们试着将内容创作搬到线上,实现了一个云录制系统。尔后,我们行使AR、MR等XR手艺,实现了虚拟建造,相当于搭建一个虚拟的棚,在棚里进行片子、电视剧拍摄。我们还行使智能化手艺,晋升了告白投放效率,削减了预算损失落。这场疫情,极大年夜地晋升了手艺、稀奇是智妙手艺在财产中的主要性。今朝,爱奇艺打造的智能平台,主要用于处事两部分人群:一部分是上游的内容创作者,别的一部分是用户消费者。

个中,内容创作者主要分为三类。一类是传统的长视频创作者,包孕导演、演员和后期建造人员,他们主要创作片子、电视剧、综艺、动漫及儿童动画片等类型的作品。另两类则划分是短视频、鄙视频创作者,包孕很多MCN(Multi-Channel Network)机构和UGC(User Generated Content)创作者。那末,若何处事这些内容创作者?以综艺节目为例,爱奇艺最早投入、利用了一个大年夜型AI综艺创作系统,名为“爱创媒资系统”。在综艺录制现场,平居会有五六十个、甚至上百个(固定或移动的)摄像头同时进行拍摄,产生大年夜量录制素材。

这些素材的数量,是通俗视频素材的几十倍、甚至上百倍,手动措置起来异常麻烦。但假如用AI来措置这些素材,例如进行时候对齐,就可以晋升10倍阁下的效率。而行使AI,还能智能化地给素材片断打标签,如用AI辨认音频中的演员台词、进行语义理解,让导演、后期建造人员能快速检索到想要的片断。这些素材中,也有很多待删减部分,如恍惚片断、黑镜和噪音废片,也都能用AI快速辨认、措置。事实上,最后的视频成片,并不是综艺现场的原始纪录,而是一种艺术创作。历程当中,素材检索长短常主要的一环。

除此之外,AI还能被用于视频审核、商务植入和视频宣发中。例如,视频建造时,要求某一脚色不克不及露出胡子、纹身,那末我们行使AI,就可以快速找到这些不合适要求的内容。在商务植入时,也能行使AI可以快速地较量争论植入时长。至于宣发阶段,也能用AI建造鼓吹和预告片。例如,用AI进修视频帧的图案,并快速产出各类各样的宣发视频、预告片断。用AI修复老片子、建造动漫而在片子创作上,爱奇艺也做了一个名为ZoomAI的视频增强手艺。这是一个AI功能包,能完成去噪、前景提亮、超分说率、插帧等视频优化算法。上个月,我们还和厦门大年夜学的人文学院成立了一个连络尝试室,专门修复像《小兵张嘎》如许的老片子。

而今,国内还有上万部如许的胶带片子,需要被解救、庇护,假如行使AI修复,可以削减80%的工作,剩下的20%再交由厦大年夜的同学,一帧帧手动审核修复。今朝,爱奇艺也已“出海”,将营业耽误到了海外。但不管是东南亚照样欧洲,措辞都显现碎片化特点,在分歧的地区,可能呈现多种分歧的措辞。例如,仅东南亚一个地区,就有印尼语、马来语、泰语等多种措辞。假如要做一部视频的海外配音,就需要找各个脚色的、分歧措辞的配音演员,成本会异常高。是以,我们构建了一个AI音色库,行使Voice Conversion(语音转换)来配音,只需要给每一个脚色找一个“演员”,就可以完成所有视频的配音。相对来讲,TTS(语音合成)没法正确表达语气、腔调,但Voice Conversion却能用别的一种音色,将情感很好地表达出来。

片子之外,还有一个相对复杂年夜、有前景的财产,就是动漫。在中国,大年夜概有4亿的二次元人群。我们调研发现,动漫财产的创作者,根基照样在用PS等传统东西进行创作。历程当中会先画出线框、再完成上色,个中光是上色阶段,就占有工作量的40%~50%。用AI东西,能帮创作者晋升良多效率。例如,让创作者指定一种气概,好比“赛璐璐”。行使气概迁徙,AI马上就可以完成“赛璐璐”气概的线稿上色。

假如触及AI没有学过的气概,也可以或许先手动给关头帧上色,再行使特点迁徙,将上色气概迁徙到其他帧中。这些操作,能让线稿上色效率晋升80%阁下。上面这些AI操作,是针对传统、建造优良的动漫设计的。除此之外,还有一种名为轻动漫或动态漫的动漫类型。这类动漫,可以理解为给漫画加了一点动效,让人物可以或许走动、措辞。

而今,轻动漫在网上的传布量非终大年夜,我们也已能行使AI,建造这类动漫。只需要用AI对动漫人物进行脸部辨认,再做唇形驱动,就可让人物的嘴巴动起来,接近人工建造的后果。别的,爱奇艺本年还推出了跨次元新星的虚偶选秀节目。个中,左侧的“小满”是虚拟手语主播,右侧的“小又”,则是虚拟节目主持。

行使TTS和Voice Conversion合成声音、加上唇形和脸色驱动合成口型,就可让她们开口“措辞”。“小又”上线后异常受用户欢迎,节目标播放量也有所晋升。若何用AI创作UGC作品我们申明发现,UGC创作的历程,大年夜致可以分为几个阶段。起首,用户会想出一个创意,环绕创意堆积一些素材,按照素材寻觅适合的布景乐,最后在剪辑东西中完成视频创作。每一个阶段,我们都能用AI匡助创作者削减一定的工作量。好比,爱奇艺有很多明星的“粉丝视频”,即粉丝创作的视频。要想建造如许的视频,只需要行使我们的“一键成片”功能,就可以用AI申明一部明星出演的片子,并在10秒内创作关于这个明星的短视频。像易烊千玺的粉丝,只需要选择“易烊千玺”,再选中他出演的片子《少年的你》,点上布景音乐,就可以完成粉丝视频的创作。

这类视频,也叫“舔屏向”视频,个中“舔屏”,指爱好某个明星到想要舔手机屏幕的程度。当然,爱奇艺还给内容创作者供应了一个素材库,不再需要去盗版网站找视频素材。我们在随刻创作APP的素材库里,行使AI对站内的长视频进行内容理解,并打好了人物、动作、场景等标签。创作者可以快速找到所需素材,加进本身的作品中。别的,APP也能按照创作的视频内容,智能举荐较匹配的布景音乐。当然,还可以用TTS来配音、或是用ASR给视频填充字幕等。有了AI,看视频变得更简单对用户消费者,我们则希望用智妙手艺,为他们供应优异处事。例如,用智能搜索、举荐算法,让用户快速找到爱好的内容。同时,我们也希望给用户供应更好的感到感染,例如,在视觉和听觉上,给用户以高清、流通的体验感。别的,我们还想给用户供应更天然、好玩的互动场景。今朝,用户已能颠末历程语音和手势,敌手机、平板、笔记本电脑、电视等各类电子设备上的爱奇艺APP进行操作,交互变得加倍天然。但爱奇艺APP笼盖的设备,还包孕VR头盔、家庭文娱举措措施及车载APP等,个中,有些设备没法很好地用键鼠、触控进行输入。是以,我们做了一个Home AI的语音交互平台,可以做语音辨认。

不但如此,这个平台还能辨认音色,按照音色来举荐内容。例如,按照音色春秋(老人、年青人或小孩),平台能给你举荐相干的视频。同时,平台还可以做一些智能搜索,如按照常识图谱,进行剧情智能问答。还有一个受小朋侪欢迎的功能,即用AI克隆家长的音色、来建造朗诵绘本。除此之外,AI还能被用于我们的拍摄APP中,包孕AI美颜、美妆等。行使这些功能、加上AI的人脸辨认手艺,我们做了很多有意思的创新,例如一些小游戏。这是《青春有你》的虞书欣同学,示范的一个“吃鸡腿”小游戏,用到了五官、轮廓识别的AI手艺。

这类原生植入的告白类型,一样受客户爱好。别的,爱奇艺还会直播一些如足球、网球等体育节目,我们会对个中的直播流进行实时申明。假如呈现了“高能”场景,如足球进球、或是网球得分,我们也会实时插播告白。这些在超卓时刻推出的告白,后果很好。由于这类场景下,不雅众的留意力也会异常集中。

我们希望颠末历程AI,将科技与艺术进行连络,来增进全部财产的升级成长。最后,我用一句话结束今天的演讲:创意让胡想绽放,科技让欢愉简单。这句话,不然则爱奇艺的义务,也是我们做AI的同学的胡想和方针。感谢大年夜家!

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.acewise.org/kj/2078.html