首页 科技 正文

UniMP,图邦的杀手!百度在神经网络权威排行榜前三名中名列榜首

允中 发自 凹非寺量子位 编纂 | 公众号 QbitAI

近日,百度在图神经收集范畴获得新打破,提出畅通领悟标签传递和图神经收集的同一模子UniMP(Unified Message Passing),在图神经收集权势巨头榜单OGB(Open Graph Benchmark)取很多项榜首。

Leaderboard for ogbn-products

Leaderboard for ogbn-proteins

Leaderboard for ogbn-arxiv

图神经收集最权势巨头榜单OGB

图神经收集是用于图布局数据的深度进修架构,将端到端进修与归纳推理相连络,有望解决传统深度进修没法措置的因果推理、可诠释性等问题,长短常有潜力的人工智能研究标的目标。然则,这个范畴一向缺少范围较量大年夜且承认度较高的数据集。今朝大年夜量的论文依然在Cora、PubMed、Citeseer等小数据集上进行尝试,尝试的后果也没有普适性。在此环境下,OGB(Open Graph Benchmark)应运而生:

权势巨头性高:OGB是由斯坦福大年夜学图神经收集权势巨头Jure Leskovec传授团队成立的大年夜范围图进修义务的评测基准数据集,指点委员会包孕Yoshua Bengio、Will Hamilton、Max Welling等业界大年夜牛。Jure Leskovec传授在NeurlPS 2019大年夜会的演讲中正式对外发布OGB并开源,是今朝公认最权势巨头的图进修相干基准测试数据集。数据丰硕:OGB面向分歧的图进修义务(包孕节点分类,边猜测,图分类)划分供应了多个数据集,如学术援引收集、常识图谱、分子图、生物收集等。个中最热点的三个半看管节点分类数据集:商品举荐ogbn-products、论文援引ogbn-arxiv和化学分子ogbn-proteins,对图神经收集研究者有极强的吸引力。夺榜剧烈:OGB吸引了包孕斯坦福、纽约大年夜学、加州大年夜学洛杉矶分校、康奈尔大年夜学、亚马逊等多个机构参与打榜;榜单上也降生了层见叠出的新奇图神经收集布局,如聚积112层的深度图卷积收集DeeperGCN,颁发在ICML 2020的多层图收集GCNII,还有多种形式分歧的图采样算法。近日,百度PGL团队创新提出同一消息传递图神经收集模子UniMP,在三大半看管节点分类数据集均荣登榜首。

UniMP:同一消息传递模子

在半看管图节点分类场景下,节点之间颠末历程边相毗邻,部分节点被打上标签。义务要求模子颠末历程看管进修的体式格局,拟合被标注节点数据,并对未标注的节点进行猜测。以下图所示,在一般机械进修的问题上,已标注的演习数据在新数据的揣摸上,其实不克不及阐扬直接的感化,由于数据的输入是自力的。然则在图神经收集的场景下,已有的标注数据可以从节点与节点的毗邻中,按照图布局关系推行到新的未标注数据中。

一般利用于半看管节点分类的算法分为图神经收集和标签传递算法两类,它们都是颠末历程消息传递的体式格局(前者传递特点、后者传递标签)进行节点标签的进修和猜测。个中经典标签传递算法如LPA,只考虑了将标签在图上进行传递,而图神经收集算法大年夜多也只是利用了节点特点和图的链接信息进行分类。然则纯挚考虑标签传递或节点特点都是不足够的。

百度PGL团队提出的同一消息传递模子 UniMP,将上述两种消息同一到框架中,同时实现了节点的特点与标签传递,显著晋升了模子的泛化后果。UniMP以Graph Transformer模子作为根本骨架,连络利用标签嵌入方式,将节点特点和部分节点标签同时输入至模子中,从而实现了节点特点和标签的同时传递。

简单的到场标签信息会带来标签泄漏的问题,即标签信息等于特点又是演习方针。实际上,标签大年夜部分是有按次的,例如在援引收集中,论文是遵照时候前后按次呈现的,其标签也应当有一定的前后按次。在没法得知演习集标签按次的环境下,UniMP提出了标签掩码进修方式。UniMP每次随机将一定量的节点标签掩码为未知,用部分已有的标注信息、图布局信息和节点特点来还原演习数据的标签。究竟,UniMP在OGB上获得SOTA后果,并在论文的消融尝试上,验证了方式的有用性。

屠榜背后:飞桨图进修框架PGL加持

UniMP基于飞桨图进修框架PGL(Paddle Graph Learning)实现,依托飞桨焦点框架和自研的图引擎。PGL支持十亿节点百亿边的超巨图演习,原生支持异构图Metapath采样和Message Passing双模式,预置多种业界主流图进修算法和自研模子如ERNIESage、UniMP等,利便开辟者熟习和利用图神经收集范畴模子。

飞桨PGL已在搜索、告白、信息流、金融风控、贴吧、用户画像、智能地图等场景周全落地,可支持百亿巨图场景。图进修作为通用人工智能算法之一,势必成为这个时期新的根本举措措施,赋能各行各业,助燃智能经济起飞。希望有志之士到场PGL,一路共建将来。

PGL代码完全开源开放,欢迎开辟者们利用并供献您的奇思妙想。假如您感觉还不错,欢迎“Star”;假如您有意见需要互换,欢迎“Issue”

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.acewise.org/kj/1296.html