首页 科技 正文

人脸识别,现在连动漫人物都不放过

萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI

看过的动漫太多,乃至于认脚色时有点脸盲?

又或,只想给本身的二次元老婆剪个进场合辑,却不克不及不在各大年夜搜索引擎搜索关于她的照片?

尝尝爱奇艺推出的这个卡通人脸辨认基准数据集iCartoonFace,用它演习AI帮你找动漫素材,效率分分钟翻倍。

对脸型附近、但脚色分歧的二次元人物,能正确辨认出来(脸盲福音):

假如人物视角呈现转变,也能正确辨认:

不但如此,在人脸被大年夜面积遮挡时,也能正确地辨认出来:

至于阴影和光照也不在话下,哪怕站在树荫里,也能被AI“侦测”:

后果完全不输现有的真实人脸辨认。

那末,如许的手艺是怎样做出来的呢?

连络真人数据,演习卡通人脸辨认

团队提出了一种卡通和真人的多人物演习框架,主要包孕分类损失落函数、未知身份谢绝损失落函数和域迁徙损失落函数三部分,以下图所示。

个中,分类损失落函数主要用来对卡通脸和真人脸进行分类。

而未知身份谢绝损失落函数,则是为了在分歧域之间进行无看管正则化投影。

至于域迁徙损失落函数,目标是下降卡通和真人域之间的不同性,对他们的相干性进行束缚。

针对这个框架,研究者们切磋了三个问题:哪一种算法最好?人脸辨认是不是有助于卡通辨认?上下文信息对卡通辨认是不是有用?

从尝试后果来看,ArcFace+FL的后果最好,所以此次团队选用了这个算法。

至于后两个问题的谜底,也是一定的。

从下图的蓝线来看,加上真人人脸识别的信息后,对卡通检测的辨认一样有匡助。

至于上下文信息,团队也做了尝试,下图是算法在卡通人脸根本上扩充分歧比例下的性能辨认。尝试证实,上下文信息越丰硕,人脸识别的后果也会更好。

事实上,动物脚色演习出来的特点样本,比拟于人脸来讲,照样有点诡异。

下图中划分是原图和对应的特点样本,比拟于动漫男生和女生,虹猫的特点显得有点……不成捉摸。

不外这也申明,一个标准、大年夜型的动漫人脸数据集是有需要的。

标注数据,只需要一步

为了削减人工标注的工作量,研究者们设计了一种半主动数据集构建框架,用于构建iCartoonFace数据集。

以下图,这个框架可以分为三个阶段:

起首,对数据进行分层搜集。先获得卡通图片信息,包孕专辑和人物名称,再获得卡通人物图片,使得数据集布局异常清楚。

其次,对数据进行过滤。行使卡通人脸检测、特点提取器和特点聚类等,对图片数据进行噪声过滤。

个中,特点提取器的性能会产生转变:随着标注数据的增多,性能不休增强。

最后,标注人员只需要做一个步调:按照特点聚类的后果,答复两张图片是不是是同一小我物。

今朝最大年夜的卡通人物标注数据集

事实上,今朝已有大年夜量针对真人的人脸识别的手艺和算法。

然则,针对二次元人脸识别的数据集照旧少之又少,大年夜多折半据集存在着噪音比例大年夜、数据量小的问题。

但如许的需求切实其实存在,不局限于对视频的布局化申明,还能利用于图片搜索、告白辨认等场景。

例如,给创作者供应智能剪辑、或是对恶弄的嘲笑漫画、卡透气概人物进行审核辨识。

针对这个现象,爱奇艺开放了今朝全球最大年夜的手工标注卡通人物检测数据集与辨认数据集iCartoonFace,包孕逾越5000个卡通人物、40万张以上的高质量实景图片。

下图是iCartoonFace与其他已有动漫数据集的比较,基于这个数据集设计框架,可以有用地提高卡通人物辨认性能。

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.acewise.org/kj/1287.html