正文引见的是ICLR2020当选舆论《INDUCTIVE MATRIX COMPLETION BASED ON GRAPH NEURAL NETWORKS》（鉴于图神经搜集的归结矩阵补全）。作品来自华盛顿大学圣路易斯分校硕士、Facebook AI 接洽院接洽科学家张牧涵。
文 | 张牧涵
编 | 丛 末
载入链接：https://openreview.net/pdf?id=ByxxgCEYDS
代码地方：https://github.com/muhanzhang/IGMC
1 摘 要
矩阵补全(Matrix Completion)被普遍运用于引荐体例中。保守的矩阵领会(Matrix Factorization)本领为转导推导模子(Transductive Model)，所进修到的embedding不许实行到演练会合未展示过的用户(user)和商品(item)。而 Inductive Matrix Completion (IMC) 模子运用实质消息(content)来补全矩阵，缺陷是对实质的品质诉求很高，且在实质品质不好的情景下会引导远低于矩阵领会的本能。
正文提出一种新的Inductive Graph-based Matrix Completion (IGMC) 模子，在维持归结推导(inductive reasoning)的同声，实足不借助任何实质消息。能不借助实质消息完毕归结推导的诀窍就在乎子图构造。IGMC为每一个(user, item) pair索取一个包括子图(enclosing subgraph)，并用图神经搜集(graph neural network)演练一个由子图构造映照到用户对商品味分(rating)的回归模子。
IGMC在多个数据集上博得了最进步的本能；它不只不妨实用于没在演练会合展示的用户和商品，更不妨迁徙(transfer)到新数据上。咱们运用一个在MovieLens上演练的IGMC模子去猜测豆瓣影戏评阅，博得了特殊好的本能，以至好于很多特意在豆瓣数据上演练的模子。
2 动 机
只有咱们把每个user或item看成一个节点(node)，每个rating看成一个边(edge)，则矩阵补全不妨看成是在二分图(bipartite graph)上的链路猜测(link prediction)题目。各别于保守链路猜测只关心猜测生存性(link existence)，这边咱们要猜测链路的值(link value)，也即是用户对商品的评阅。
开始，咱们设置包括子图(enclosing subgraph)。对一个(user, item) pair，它们的h阶包括子图是由该user、 item，一切该user、 item的h-hop内连接节点（包括h-hop），以及一切那些节点之间的边构成的图。如许的一个包括子图内生存洪量对于猜测评阅有效的消息。举例来说，纵然只用一阶包括子图，咱们也不妨赢得比方用户平衡评阅、商品平衡评阅、商品累计评介度数，以及洪量的鉴于路途(path)等的构造消息。加入图一。
一个大略的鉴于路途的构造特性如次，假设咱们想领会用户u0对于商品v0的评阅，咱们不妨看有几何和u0品位一致的用户u1对v0打了高分；而品位一致不妨用能否这个u1和u0已经都给某个其它的商品v1打过高分。归纳下来，如许的一个路途特性即为：
咱们不妨经过查有几何如许的路途来预算u0能否会给v0高分。并且，一切如许的路途都被包括在一阶包括子图(1-hop enclosing subgraph)中。
咱们断定一致如许的构造特性不计其数。所以，与其手动设置洪量如许的开辟式特性(heuristics)，不如径直将一阶包括子图输出给一个图神经搜集，用图神经搜集宏大的图特性进修本领来机动进修更通用的、更有表白本领的特性。咱们运用图神经搜集演练一个由包括子图映照到评阅的回归模子，试验表明，这种新的本领不妨透彻地猜测评阅。
3 方 法
索取每个包括子图后，咱们开始要对个中的节点举行标明(node labeling)。手段是为了辨别子图中节点的各别脚色。比方咱们要辨别目的节点(target user/item)和后台节点 (context nodes)。目的节点标示出咱们究竟要猜测子图中哪一对(user, item)之间的评阅。同声，咱们不妨辨别各别阶的街坊节点，比方一阶街坊(1-hop neighbors)和二阶街坊(2-hop neighbors)对目的节点的奉献水平并不沟通。
咱们沿用了一个大略的做法，对目的用户(target user)，咱们标明为0，对目的商品(target item)，咱们标明为1；对i-hop的后台用户咱们标明为2i，对i-hop的后台商品咱们标明为2i+1。之后，咱们将那些标明变化为one-hot encoding vector，动作每个节点的初始特性输出给图神经搜集。
在图神经搜集(GNN)中，咱们沿用relational graph convolutional operator (R-GCN)动作卷积层，由于R-GCN不妨从边典型中进修。
个中，代办节点在第层的特性向量， 和 为可进修的参数，代办rating(普遍从 中采用，代办与节点以典型边贯串的街坊节点。
多层卷积后，咱们将每一层截止贯串获得每个节点的最后表白：
结果，咱们取目的用户和目的商品的贯串的表白动作这个包括子图的最后表白：
并演练一个两层神经搜集(MLP)从子图表白回归到目的评阅(rating)。
4 试验截止
咱们仅运用一阶包括子图演练IGMC。开始，在Table 第22中学咱们展现了在Flixster, Douban和YahooMusic上的RMSE本能。咱们的IGMC模子博得了state-of-the-art本能，胜过了近期的其余鉴于图神经搜集的模子。
在Table 3中咱们展现IGMC在ML-100K 和 ML-1M上的本能。在ML-100K上，IGMC博得了最佳的本能，和之前超过的一种转导模子GC-MC本能沟通。然而提防，GC-MC运用了特殊的实质(content)特性，而IGMC实足依附子图构造。GC-MC在不运用content的情景下RMSE为0.***0。在ML-1M上，IGMC仍掉队于其余少许转导推导的本领。咱们接下来深刻接洽这一题目。
对于ML-1M数据集，咱们辨别将演练矩阵稠密为0.2, 0.1, 0.05, 0.01和0.001倍。Figure 2比拟了GC-MC和IGMC在各别稠密水平下的本能比较。咱们创造，固然IGMC在sparsity=1时掉队于GC-MC，然而尔后IGMC在各别sparsity下都优于GC-MC，并且矩阵越稠密，本能上风越鲜明。咱们探求，鉴于子图特性进修的IGMC对稠密矩阵更鲁棒；而鉴于矩阵领会等的转导模子须要矩阵较为精致(dense)本领有好的本能。这也表示了IGMC在数据稠密的引荐体例中的后劲。
结果，咱们尝试IGMC的迁徙学风俗能。咱们径直将ML-100K上演练的IGMC模子用来猜测Flixster, Douban和YahooMusic。出乎意料，迁徙的IGMC模子博得了极强的本能，以至好于少许特意在这三个数据集上演练的模子。这证明，各别引荐工作共享了洪量沟通的子图形式。
为考证这点，咱们可视化了少许如实的包括子图，见Figure 3。不妨创造，高评阅和低评阅对应的包括子图真实有着鲜明的各别；且各别数据集之间共享很多一致的子图形式。
5 总 结
正文提出了一种经过子图特性举行归结推导(inductive reasoning)的矩阵补全模子，IGMC。
经过正文咱们证领会仅从一阶包括子图进修图特性即可在很多数据集上到达超过的本能，这犹如表示更高阶的贯穿联系并没有更加多的特殊价格。
其余，咱们也证领会不借助于实质(content)的inductive matrix completion (IMC)本领是同样可行的且大大胜过了保守的借助实质的IMC本领。IGMC的很多个性，比方迁徙性、稠密鲁棒性等都表示了它的宏大后劲。咱们蓄意IGMC能为矩阵补全和引荐体例范围带来新的办法和开辟。
其余，借助子图特性的链路猜测本领仍旧赢得了宏大的胜利，拜见咱们的另一篇作品“Link Prediction Based on Graph Neural Networks” ：
http://papers.nips.cc/paper/7763-link-prediction-based-on-graph-neural-networks.pdf
ICLR 2020 系列舆论解读
0、ICLR 2020 聚会动静通讯
疫情重要，ICLR2020 将举行假造聚会，欧洲初次 AI 国际顶会就此泡汤
疫情感化，ICLR 遽然改为线上形式，2020年将变成顶会变化之年吗？
火爆的图呆板进修，ICLR 2020上有哪些接洽趋向？
1、直播
回放 | 华为诺亚方舟ICLR满分舆论：鉴于加强进修的因果创造
2、Oral
01. Oral | 一种镜像天生式呆板翻译模子：MGNMT
02. Oral | 特殊高斯先验目的，缓和负百般性愚笨
03. Oral | 引入特殊门控演算，LSTM稍做窜改，本能便堪比Transformer-XL
04. Oral | 并行蒙卡树探求，本能无害，线性加快，勇闯「消消乐」1000关！
05. Oral | 元加强进修迎来一盆冷水：不比元Q进修好几何
06. Oral | 用群卷积创造深度、等变的胶囊搜集
07. Oral | 谷歌推出散布式加强进修框架SEED，本能“完爆”IMPALA，可扩充数千台呆板，还很廉价
3、Spotlight
01. Spotlight | 模子参数这么多，泛化本领干什么还能这么强？
02. Spotlight | 公道与透彻同样要害！CMU提出进修公道表征本领，实行算法公道
03. Spotlight | 拉拢泛化本领太差？用深度进修融洽拉拢求解器试试
04. Spotlight | 加快NAS，仅用0.1秒实行探求
05. Spotlight | 华盛顿大学：图像分门别类中对可实行报复的提防（视频解读）
4、Poster
01. Poster | 华为诺亚：精巧思维，NAS与「对立」贯串，速度普及11倍
02. Poster | 抛开卷积，多头自提防力不妨表白任何卷积操纵
03. Poster | NAS 太难了，探求截止堪比随机采集样品！华为给出 6 条倡导
04. Poster | 清华大学提 NExT 框架，用「神经元实行树」进修可证明性
05. Poster | 谷歌最新接洽：用“复合散度”量化模子合成泛化本领
06. Poster | 完胜 BERT，谷歌最好 NLP 预演练模子开源，单卡演练仅需 4 天
07. Poster | FSNet：运用卷积核大纲举行深度卷积神经搜集的收缩
08. Poster | “同步平衡熏陶”框架为无监视进修供给更鲁棒的伪标签
09. Poster | 赶快神经搜集自符合本领