2021年, 别再只沉迷于GANs 和 Transformer,GNN爆发已经从CV蔓延到物理化学

news2024/3/3 18:21:13

作者:Sergei Ivanov

编译:周寅张皓、梦佳、贾伟

GNN,又可以被理解为Neural Networks for Graph,由于图非欧结构的限制,如何设计图数据上的神经网络一直困扰着学界,因此在数年前该领域一直较为沉寂。

但近年来,深度学习模型的成功将一系列成功验证的机制迁移到图数据上,创造了诸如GCN,Graph Attention,Graph Pooling等等模型。伴随着理论方法进步的,是蓬勃的应用发展。

在2020年,GNN频繁登上各大会议热词榜,由于图类型数据的普遍存在,图神经网络在各种学科的场景得到应用——诸如计算机视觉、推荐系统、组合优化;甚至药物研发、物理、化学等,且在多个领域都有较大的效果提升。

在前几天我们推送了一篇Michael Bronstein 等人对2020年GNN发展的复盘文章:「全方位复盘GNN,12位学者寄望2021年大爆发」。

 

今天,我们再推荐著名图机器学习专家 Sergei Ivanov 对图机器学习的发展,供大家参考。

Sergei Ivanov:

今年年初,图形神经网络(GNNs)成为一个流行词。作为这一领域的研究人员,我感到非常自豪(至少不感到羞愧) 。但事实并非总是如此: 三年前,当我和同事们交谈时,他们沉迷于GANs 和 Transformers,他们对我印象是,我正在研究一些稀奇古怪的小众问题。但现在看,这个领域已经基本上成熟了,在这里,我为大家总结最近看到的 GNN 的顶级应用。

 

01

GNN + 推荐系统

 

图的出现源于电子商务平台上,用户与产品的交互,许多公司将 GNN 用于产品推荐。

 

一个标准的使用案例是,利用某种形式的负采样损失去学习节点嵌入,来建模用户和项目的图,然后利用knn去实时抽取给定用户相类似的项目。Uber Eats[1] 是第一个应用这种pipeline的公司,它通过图神经网络 GraphSage[2] 为用户推荐食品和餐馆。

 

食品推荐,由于地理等因素的限制,图相对会较小。有些公司在GNN的使用上,可以达到数十亿个边的规模。其中之一,便是阿里巴巴[3]。

 

阿里巴巴在拥有数十亿用户和产品的庞大网络上进行图嵌入和 GNN 。构建这样的图可能是一场工程噩梦,但是使用Aligraph pipeline,只需要5分钟就可以构建一个包含400M 节点的图!AliGraph [4] 支持高效的分布式图存储、优化的采样操作符和内置 GNNs。目前,它被部署在阿里的多个产品的推荐和个性化检索当中。

阿里巴巴、亚马逊和许多其他电子商务公司使用 GNN 来辅助推荐系统

同样,Pinterest提出了PinSage模型[5],该模型使用个性化PageRank有效地对邻域进行采样,并通过聚合每个邻域来有效地更新节点嵌入。后续的PinnerSage [6]扩展了这一框架,可以嵌入内容,来针对用户的不同喜好。 

 

其他案例还包括在亚马逊上检查有关知识图谱和GNN的应用[7],以及Fabula AI使用GNN进行伪造新闻检测的研究[8]。显然,GNNs对于推荐的意义重大,如果来自用户互动的信号足够强的话。

GNN+推荐系统 · 参考资料

[1]Uber Eats 详解:https://eng.uber.com/uber-eats-graph-learning/

[2]GraphSage开源:https://github.com/williamleif/GraphSAGE

[3] 阿里巴巴如何将图用在十亿级用户/产品:https://arxiv.org/abs/1803.02349

[4] AliGraph 解决噩梦:https://arxiv.org/abs/1902.08730

[5] PinSage:https://arxiv.org/abs/1806.01973

[6] PinnerSage的详细介绍:https://medium.com/pinterest-engineering/pinnersage-multi-modal-user-embedding-framework-for-recommendations-at-pinterest-bfd116b49475

[7] 亚马逊的知识图谱应用:https://www.amazon.science/blog/building-product-graphs-automatically

[8] Fabula AI 的伪造新闻检测:https://arxiv.org/abs/1902.06673

 

02

组合优化

 

在金融、物流、能源、生命科学和硬件设计等等各个领域都需要解决组合优化(CO)的问题。这些问题大多数是用图表示的。因此,在过去的一个世纪里,大量的研究都集中在从算法层面更有效地解决 CO 问题; 然而,机器学习驱动的现代计算革命提供了一种新的引人注目的学习方法来解决这些问题。

 

谷歌大脑团队使用 GNN 来优化新硬件[9](比如谷歌TPU[10])的功耗、面积和性能。计算机芯片是一个存储和逻辑部件的图,每个部件的坐标和类型不同。确定每个部件的位置,同时遵循密度和路由阻塞的限制,是一个费力的过程,也是电气工程师操盘的艺术。团队利用GNN 模型,与策略和价值 RL 函数相结合,能够生成优化的电路芯片匹配布局,甚至优于手工设计的硬件布局[11]。

与围棋相比,芯片部件布局是一个无比复杂的问题

另一种方法采用了不同的路径,将机器学习模型集成到现有的求解器中。例如,Gasse 等人提出了一个学习分支定界变量选择策略的图网: 这是混合整数线性规划(MILP)求解器的关键步骤。通过这种方式,学习到的表示去最小化求解器的运行时间,并且在推理时间和决策质量之间达到了很好的平衡。

 

在 DeepMind 和 Google 最近的一项工作中,图网络被用于 MILP 求解器相关的两个关键子任务: 联合变量赋值和限定目标值。他们的神经网络方法比现有的包括谷歌生产包装和规划系统在内的海量数据集上的求解器快2-10倍。

更多的内容可以参考最近新出的综述文章[14]。

GNN+组合优化 · 参考资料

[9] 谷歌使用GNN优化TPU,https://ai.googleblog.com/2020/04/chip-design-with-deep-reinforcement.html

[10] 云张量处单元TPU,https://cloud.google.com/tpu/docs/tpus

[11] 如何利用GNN来优化芯片电路布局,https://arxiv.org/abs/2004.10746

[12] Gasse等人提出的分支定界变量选择策略,https://arxiv.org/abs/1906.01629

[13] DeepMind & Google 的组合优化研究,https://arxiv.org/abs/2012.13349

[14] 组合优化研究综述,https://arxiv.org/abs/2003.03600 

03

GNN+CV

 

世界上的对象是紧密相连的,包含这些对象的图像也可以受益于 GNN。感知图像的方法之一是通过场景图(scene graphs)[15],一组物体在图像中出现,它们之间的关系也随之呈现。场景图在图像检索、理解和推理、字幕、视觉问题回答和图像生成等方面都有着广泛的应用,该方法可以大大提升模型的性能。

 

在 Facebook 的一项工作[16]中,可以把一个流行的 CV 数据集 COCO 中的物体放在画布上,指定物体的位置和大小,然后创建一个场景图。然后对图进行 GNN 编码,以确定每个对象的嵌入,然后与 CNN 一起,生成对象的遮罩、边框和外观。因此,最终用户可以简单地在图中添加新的节点(指定该节点的相对位置和大小) ,以便 GNN/CNN 用这些对象生成图像。[17]

 

 

利用场景图生成图像。用户可以在画布的任何地方放置一个对象(“ river”标记为红色; 从中心移动到右下角) ,来反映图像中的这些变化(图像中生成的河流也移动到右下角)。

CV 中的另一个图来源是两个相关图像的匹配ーー这是一个经典的问题,过去是用手工的描述符来实现的。3D 图形公司 Magic Leap 发布了名为 SuperGlue 的 GNN 架构[18],可以在实时视频中进行图匹配,用于3D 重建、位置识别、定位和映射(SLAM)等任务。

 

SuperGlue 由一个基于注意力机制的 GNN 组成,它可以学习图像关键点的表示,这些关键点进一步输入到进行匹配的最佳传输层。该模型在现代 GPU 上进行实时匹配,可以很容易地集成到现代 SLAM 系统中。

 

图与计算机视觉相关研究当然还有更多,可以参考这篇综述文章[19]。

GNN+CV · 参考资料

[15] 李飞飞等人提出的 Scene Graphs,详解博客:https://cs.stanford.edu/~danfei/scene-graph/

[16] Facebook对场景图进行GNN编码, https://arxiv.org/abs/1909.05379

[17] 同上,视频讲解(需要翻墙):https://www.youtube.com/watch?v=V2v0qEPsjr0

[18] Magic Leap 的SuperGlue架构详解:https://arxiv.org/abs/1911.11763

[19] 图与计算机视觉的综述文章:https://arxiv.org/abs/2010.00130 

04

GNN+物理/化学

将粒子或分支之间的相互作用表示为图,然后使用GNN去预测系统的属性,这逐渐成为生命科学中的重要研究方法。

 

Facebook和CMU的Open Catalyst Project [20],目标是找到新的方法来存储可再生能源(例如太阳能或风能),其中一种方案是通过化学反应将这些能量转化为燃料(例如氢气)的化学能。

 

但这里一个问题在于,怎么能够找到一种新的高效且低成本的催化剂,来驱动这个化学反应。目前已知的方法DFT相对比较昂贵。

 

Open Catalyst项目目前开源了一个最大的催化剂数据集,以及DFT弛豫和GNN基线[21],以期望找到新的低成本的催化剂分子。

 

吸附物(小连接分子)和催化剂表面的初始状态和松弛状态的示例。为了找到一对吸附剂-催化剂的松弛状态,必须执行昂贵的DFT模拟,这可能需要几天的时间。Zitnick et al. 2020

 

DeepMind的研究人员在[22] 中,使用GNN来模拟复杂粒子系统(例如水或沙子)的动力学过程,通过预测每个步骤、每个粒子的相对运动,从而重建出整个系统的运动状态,并进一步了解控制运动的基本规律。

 

例如可以利用这种方法来了解玻璃化转变问题[23],这个问题是固体理论中比较有趣的未解问题之一。

 

当然,使用GNN,不仅仅可以模拟过渡过程中的动力学,还可以更好地了解,粒子如何根据距离和时间相互影响。

 

此外,美国的物理实验室Fermilab,目前正尝试将GNN应用到CERN的大型粒子对撞机(LHC)的结果分析上,目标则是去处理数百万个图像,并从中发现与新粒子有关的图像。[24]

 

有关GNN在粒子物理学中的更多应用,可以参考这篇综述文章[25]。

GNN+物理/化学 · 参考资料

[20] Open Catalyst Project 的介绍:https://opencatalystproject.org/

[21] Open Catalyst Project 的开源:https://github.com/Open-Catalyst-Project/ocp

[22] DeepMind模拟水的动力学系统:https://arxiv.org/abs/2002.09405

[23] DeepMind利用GNN来理解玻璃的动力学:https://deepmind.com/blog/article/Towards-understanding-glasses-with-graph-neural-networks

[24] 费米实验室利用GNN来发现新粒子:https://news.fnal.gov/2020/09/the-next-big-thing-the-use-of-graph-neural-networks-to-discover-particles/

[25] GNN在粒子物理学中应用的综述:https://arxiv.org/abs/2007.13681

05

GNN+药物开发

  

制药公司每年都会投入数十亿美元的研发资金,用来寻找药物开发的新模式。

 

在生物学中,图可以用来表示各种规模的相互作用。

 

例如在分子水平,图的边可以是,分子中原子之间的键或蛋白质中氨基酸残基之间的相互作用。

 

而在更大范围内,图可以表示更复杂的结构(例如蛋白质、mRNA、代谢物等)之间的相互作用。

 

根据抽象的水平不同,这些图可以用在目标识别、分子特性预测、高通量筛选、新型药物设计、蛋白质工程,以及药物再利用等。

 

药物开发不同阶段中,GNN有哪些用途[26]

或许利用GNN进行药物开发,最有希望的可能就是MIT等单位发表在《Cell》上的一篇文章[26]。

 

在这篇文章中,他们训练了一个被称为Chemprop的深度GNN模型,用来预测分子是否表现出抗生素特性(对细菌大肠杆菌的生长抑制作用)。

 

研究人员仅在FDA批准的药物库中的2500个分子对Chemprop进行了训练。

 

该模型能够从一个更大的数据集(例如 Drug Repurposing Hub)中筛选出 Halicin分子。

 

有趣的是,之前大家普遍认为Halicin分子是一种用于糖尿病治疗的分子,它的结构与已知的抗生素差别非常大。但是经过实验室(在小鼠身上)的临床试验,表明Halicin是一种广谱抗生素。

 

另一方面,研究人员也针对其他神经网络模型进行了基准测试,结果表明了GNN学习功能的强大之处。

 

Chemprop另外一个值得关注的地方在于,与许多GNN模型不同,它有5个层,1600个隐藏维,远远超过用于此类任务的其他典型的GNN模型。

 

当然,Chemprop只是最近【AI+药物发现】中的一项研究,有关此类主题的更多成果,可以参考这篇综述文章[27]以及一篇博客文章。

GNN+药物开发 · 参考资料

[26] MIT等发表在《Cell》上,利用GNN进行药物开发:https://arxiv.org/abs/2012.05716

[27] AI+药物发现的综述文章:https://doi.org/10.1016/j.cell.2020.01.021

     

原文链接:https://medium.com/criteo-labs/top-applications-of-graph-neural-networks-2021-c06ec82bfc18
 



点击左下角“阅读原文”,了解更多!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://nwjs.net/news/141848.html

如若内容造成侵权/违法违规/事实不符,请联系七分地网进行投诉反馈,一经查实,立即删除!

相关文章

新书上市 | 学校没有教的科学写作指南

日常生活中常有这样的情况:有的人埋头工作,但不擅长总结写报告,工作进展和成果无法传达给他人;有的人长于讨论,会议上很活跃,但写不好讨论纪要,无法将讨论的成果积累下来。写作本应是帮助人脑表…

智能,万亿维空间中的求解

作者:Terry J. Sejnowski编译:贾伟、梦佳1884年,Edwin Abbott 在讽刺小说《平面国》中描述了这样一个世界,这个国家生活在一个二维世界中,平面国的人们只能够理解二维数学;但其中一个方块绅士做了一个关于球…

新书上市 | 世界名校数据挖掘经典《斯坦福数据挖掘教程(第3版)》

题图 | 作者为 Scott Ullman《斯坦福数据挖掘教程(第3版)》上架之后,这是我们第一次整篇文章介绍这本书。这本书相当受欢迎(前两个版本累计销量超过 5 万册),尤其是受学校青睐——在此也说声抱歉&#xff…

智源唐杰主编的IEEE Transactions on Big Data期刊被SCI收录 | AI日报

智源唐杰主编的IEEE Transactions on Big Data期刊被SCI收录今日,IEEE Transactions on Big Data (简称:IEEE TBD)被SCI收录。IEEE TBD成立背景:随着人类社会进入数字化时代,产生的数据也在爆发式增长,这些…

Python 工匠:在边界处思考

这是 “Python 工匠”系列的第 15 篇文章。[点击原文链接查看所有]2016 年,Linux 操作系统的创造者 Linus Torvalds 参加了一场 TED 访谈节目[1]。整个节目的前半部分,主要是他在讲如何在家光着膀子写出 Linux 的故事,没有涉及太多编程相关的…

ImageNet的top-1终于上了90%,网友质疑:用额外数据集还不公开,让人怎么信服?...

转载自:机器之心近日,谷歌大脑研究科学家、AutoML 鼻祖 Quoc Le 发文表示,他们提出了一种新的半监督学习方法,可以将模型在 ImageNet 上的 top-1 准确率提升到 90.2%,与之前的 SOTA 相比实现了 1.6% 的性能提升。这一成…

《Adobe Acrobat DC经典教程》—第1章1.11节在阅读模式下查看PDF文件

本节书摘来自异步社区《Adobe Acrobat DC经典教程》一书中的第1章1.11节在阅读模式下查看PDF文件,作者【美】Lisa Fridsma(丽莎 弗里斯玛) , Brie Gyncild(布里 根希尔德),更多章节内容可以访问云栖社区“异步社区”公…

opencv python 多帧降噪算法_防抖技术 | OpenCV实现视频稳流

在这篇文章中,我们将学习如何使用OpenCV库中的点特征匹配技术来实现一个简单的视频稳定器。我们将讨论算法并且会分享代码(python和C版),以使用这种方法在OpenCV中设计一个简单的稳定器。 视频中低频摄像机运动的例子 视频防抖是指用于减少摄像机运动对…

被嫌弃的贝叶斯派的逆袭

多数人第一次听说贝叶斯定理应该是在中学课堂上。那个公式看起来并不复杂,在一众花里胡哨的考点中显得平平无奇。但是很快,我们就知道了什么叫深藏不露。从高校教材到研究实战,贝叶斯这三个字频繁地出现在信息科学的重要议题中,它…

ICLR 2021论文接收统计出炉!Top20 机构,国内仅清华在榜!

转载自:AI科技评论ICLR 2021于前些天正式放榜,本次ICLR 2021一共有2997篇有效论文投稿,最后一共860篇被接收,录取率达到了28.7%,相比去年的26.5%有提升,与其他一些AI顶会大幅降低接收率相比,ICL…

为什么 Linux 和 macOS 不需要碎片整理

为什么这么设计(Why’s THE Design)是一系列关于计算机领域中程序设计决策的文章,我们在这个系列的每一篇文章中都会提出一个具体的问题并从不同的角度讨论这种设计的优缺点、对具体实现造成的影响。如果你有想要了解的问题,可以在…

GPT「高仿」问世:GPT-Neo,最大可达GPT-3大小,已开源 | AI日报

GPT“高仿”问世:GPT-Neo,最大可达GPT-3大小,已开源近日,有个名叫 EleutherAI的团队(创始成员为:Connor Leahy,Leo Gao和Sid Black),宣布推出GPT-Neo开源项目&#xff0c…

Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images

下面内容来自智源研究院CVPR2021预讲华为诺亚专场 1、深度学习的图像去噪方法面临的挑战 当前方法主要包括三类: 基于监督学习的方法:使用 noisy-clean 图像对进行训练(DnCNN, FFDNet, CBDNet, SGNet)。这类方法的难点在于&…

《Pro/ENGINEER野火版5.0从入门到精通》——1.3 体验Pro/E野火版5.0

本节书摘来自异步社区《Pro/ENGINEER野火版5.0从入门到精通》一书中的第1章,第1.3节,作者 暴风创新科技,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.3 体验Pro/E野火版5.0 Pro/E野火版5.0与其他软件类似,操作程序时…

CVPR 2021评审出炉,评审员奇葩意见遭热议 | AI日报

CVPR 2021评审出炉,评审员奇葩意见遭热议1月18日,CVPR 2021的评审结果出炉。根据CVPR 2021 程序主席、FAIR研究科学家Georgia Gkioxari近日在推特上的发文数据:今年共有7015篇有效提交论文,每篇论文都至少有3个评审结果&#xff0…

书评 | 9 年码龄工程师读 Android 经典

作为一个码龄 9 年的 Android 开发工程师,因业界大前端趋势,从18 年开始更多的时间专注在 React Native 上,Android 相关新技术日渐生疏了。Kotlin 和 Jetpack 等新技术一直缺乏上手了解的机会,是时候通过一本书体系化地了解一下相…

stylegan2 示例命令fused_bias_act.cu环境配置异常(无法打开包括文件: “tensorflow/core/framework/op.h”

在python运行stylegan2示例时,运行过程中,触发fused_bias_act.cu中的异常,可以看到fused_bias_act.cu中实际上是用c/c写的实现代码. 仔细看异常信息会发现这句话 无法打开包括文件: “tensorflow/core/framework/op.h”: 解决策略 1.首先确保你安装了c/c工具集,版本号可以有些…

中科院计算所沈华伟:GNN发展简史,诟病才是成长动力

文:周寅张皓图神经网络(Graph Neural Network)的应用在近年来蓬勃发展,但同时对其质疑也从未消失。诸如对与大规模图数据的存储问题,表达能力问题,以及数据集的规范问题引发了许多讨论。中科院计算所沈华伟…

赠书活动 | 数据挖掘经典入门

赠书活动在 AINLP 公众号。这本书相当受欢迎(前两个版本累计销量超过 5 万册),尤其是受学校青睐——在此也说声抱歉,出于出版时间的原因,很多学校依然采用了旧版作为教材;同时也请知悉,新版已上…

《C语言编程初学者指南》一2.9 理解运算符优先级

本节书摘来自异步社区《C语言编程初学者指南》一书中的第2章,第2.9节,作者【美】Keith Davenport(达文波特) , M1ichael Vine(维恩),更多章节内容可以访问云栖社区“异步社区”公众号查看 2.9 …