正文引見的是ICLR2020當選輿論《INDUCTIVEMATRIXCOMPLETIONBASEDONGRAPHNEURALNETWORKS》（鑒于圖神經搜集的歸結矩陣補全）。作品來自華盛頓大學圣路易斯分校碩士、FacebookAI接洽院接洽科學家張牧涵。

文|張牧涵

編|叢末

載入鏈接：https://openreview.net/pdf?id=ByxxgCEYDS

代碼地方：https://github.com/muhanzhang/IGMC

1摘要

矩陣補全(MatrixCompletion)被普遍運用于引薦體例中。保守的矩陣領會(MatrixFactorization)本領為轉導推導模子(TransductiveModel)，所進修到的embedding不許實行到演練會合未展示過的用戶(user)和商品(item)。而InductiveMatrixCompletion(IMC)模子運用實質消息(content)來補全矩陣，缺陷是對實質的品質訴求很高，且在實質品質不好的情景下會引導遠低于矩陣領會的本能。

正文提出一種新的InductiveGraph-basedMatrixCompletion(IGMC)模子，在維持歸結推導(inductivereasoning)的同聲，實足不借助任何實質消息。能不借助實質消息完畢歸結推導的訣竅就在乎子圖構造。IGMC為每一個(user,item)pair索取一個包括子圖(enclosingsubgraph)，并用圖神經搜集(graphneuralnetwork)演練一個由子圖構造映照到用戶對商品味分(rating)的回歸模子。

IGMC在多個數據集上博得了最進步的本能；它不只不妨實用于沒在演練會合展示的用戶和商品，更不妨遷徙(transfer)到新數據上。咱們運用一個在MovieLens上演練的IGMC模子去猜測豆瓣影戲評閱，博得了特殊好的本能，以至好于很多特意在豆瓣數據上演練的模子。

2動機

只有咱們把每個user或item看成一個節點(node)，每個rating看成一個邊(edge)，則矩陣補全不妨看成是在二分圖(bipartitegraph)上的鏈路猜測(linkprediction)題目。各別于保守鏈路猜測只關心猜測生存性(linkexistence)，這邊咱們要猜測鏈路的值(linkvalue)，也即是用戶對商品的評閱。

開始，咱們設置包括子圖(enclosingsubgraph)。對一個(user,item)pair，它們的h階包括子圖是由該user、item，一切該user、item的h-hop內連接節點（包括h-hop），以及一切那些節點之間的邊構成的圖。如許的一個包括子圖內生存洪量對于猜測評閱有效的消息。舉例來說，縱然只用一階包括子圖，咱們也不妨贏得比方用戶平衡評閱、商品平衡評閱、商品累計評介度數，以及洪量的鑒于路途(path)等的構造消息。加入圖一。

一個大略的鑒于路途的構造特性如次，假設咱們想領會用戶u0對于商品v0的評閱，咱們不妨看有幾何和u0品位一致的用戶u1對v0打了高分；而品位一致不妨用能否這個u1和u0已經都給某個其它的商品v1打過高分。歸納下來，如許的一個路途特性即為：

咱們不妨經過查有幾何如許的路途來預算u0能否會給v0高分。并且，一切如許的路途都被包括在一階包括子圖(1-hopenclosingsubgraph)中。

咱們斷定一致如許的構造特性不計其數。所以，與其手動設置洪量如許的開辟式特性(heuristics)，不如徑直將一階包括子圖輸出給一個圖神經搜集，用圖神經搜集宏大的圖特性進修本領來機動進修更通用的、更有表白本領的特性。咱們運用圖神經搜集演練一個由包括子圖映照到評閱的回歸模子，試驗表明，這種新的本領不妨透徹地猜測評閱。

3方法

索取每個包括子圖后，咱們開始要對個中的節點舉行標明(nodelabeling)。手段是為了辨別子圖中節點的各別腳色。比方咱們要辨別目的節點(targetuser/item)和后臺節點(contextnodes)。目的節點標示出咱們究竟要猜測子圖中哪一對(user,item)之間的評閱。同聲，咱們不妨辨別各別階的街坊節點，比方一階街坊(1-hopneighbors)和二階街坊(2-hopneighbors)對目的節點的奉獻水平并不溝通。

咱們沿用了一個大略的做法，對目的用戶(targetuser)，咱們標明為0，對目的商品(targetitem)，咱們標明為1；對i-hop的后臺用戶咱們標明為2i，對i-hop的后臺商品咱們標明為2i+1。之后，咱們將那些標明變化為one-hotencodingvector，動作每個節點的初始特性輸出給圖神經搜集。

在圖神經搜集(GNN)中，咱們沿用relationalgraphconvolutionaloperator(R-GCN)動作卷積層，由于R-GCN不妨從邊典型中進修。

個中，代辦節點在第層的特性向量，和為可進修的參數，代辦rating(普遍從中采用，代辦與節點以典型邊貫串的街坊節點。

多層卷積后，咱們將每一層截止貫串獲得每個節點的最后表白：

結果，咱們取目的用戶和目的商品的貫串的表白動作這個包括子圖的最后表白：

并演練一個兩層神經搜集(MLP)從子圖表白回歸到目的評閱(rating)。

4試驗截止

咱們僅運用一階包括子圖演練IGMC。開始，在Table第22中學咱們展現了在Flixster,Douban和YahooMusic上的RMSE本能。咱們的IGMC模子博得了state-of-the-art本能，勝過了近期的其余鑒于圖神經搜集的模子。

在Table3中咱們展現IGMC在ML-100K和ML-1M上的本能。在ML-100K上，IGMC博得了最佳的本能，和之前超過的一種轉導模子GC-MC本能溝通。然而提防，GC-MC運用了特殊的實質(content)特性，而IGMC實足依附子圖構造。GC-MC在不運用content的情景下RMSE為0.910。在ML-1M上，IGMC仍掉隊于其余少許轉導推導的本領。咱們接下來深刻接洽這一題目。

對于ML-1M數據集，咱們辨別將演練矩陣稠密為0.2,0.1,0.05,0.01和0.001倍。Figure2比擬了GC-MC和IGMC在各別稠密水平下的本能比較。咱們創造，固然IGMC在sparsity=1時掉隊于GC-MC，然而爾后IGMC在各別sparsity下都優于GC-MC，并且矩陣越稠密，本能上風越鮮明。咱們探求，鑒于子圖特性進修的IGMC對稠密矩陣更魯棒；而鑒于矩陣領會等的轉導模子須要矩陣較為精致(dense)本領有好的本能。這也表示了IGMC在數據稠密的引薦體例中的后勁。

結果，咱們嘗試IGMC的遷徙學風俗能。咱們徑直將ML-100K上演練的IGMC模子用來猜測Flixster,Douban和YahooMusic。出乎意料，遷徙的IGMC模子博得了極強的本能，以至好于少許特意在這三個數據集上演練的模子。這證明，各別引薦工作共享了洪量溝通的子圖形式。

為考證這點，咱們可視化了少許如實的包括子圖，見Figure3。不妨創造，高評閱和低評閱對應的包括子圖真實有著鮮明的各別；且各別數據集之間共享很多一致的子圖形式。

5總結

正文提出了一種經過子圖特性舉行歸結推導(inductivereasoning)的矩陣補全模子，IGMC。

經過正文咱們證領會僅從一階包括子圖進修圖特性即可在很多數據集上到達超過的本能，這猶如表示更高階的貫穿聯系并沒有更加多的特殊價格。

其余，咱們也證領會不借助于實質(content)的inductivematrixcompletion(IMC)本領是同樣可行的且大大勝過了保守的借助實質的IMC本領。IGMC的很多個性，比方遷徙性、稠密魯棒性等都表示了它的宏大后勁。咱們蓄意IGMC能為矩陣補全和引薦體例范圍帶來新的辦法和開辟。

其余，借助子圖特性的鏈路猜測本領仍舊贏得了宏大的勝利，拜見咱們的另一篇作品“LinkPredictionBasedonGraphNeuralNetworks”：

http://papers.nips.cc/paper/7763-link-prediction-based-on-graph-neural-networks.pdf

ICLR2020系列輿論解讀

0、ICLR2020聚會動靜通訊

疫情重要，ICLR2020將舉行假造聚會，歐洲初次AI國際頂會就此泡湯

疫情感化，ICLR遽然改為線上形式，2020年將變成頂會變化之年嗎？

火爆的圖呆板進修，ICLR2020上有哪些接洽趨向？

1、直播

回放|華為諾亞方舟ICLR滿分輿論：鑒于加強進修的因果創造

2、Oral

01.Oral|一種鏡像天生式呆板翻譯模子：MGNMT

02.Oral|特殊高斯先驗目的，緩和負百般性愚笨

03.Oral|引入特殊門控演算，LSTM稍做竄改，本能便堪比Transformer-XL

04.Oral|并行蒙卡樹探求，本能無害，線性加快，勇闖「消消樂」1000關！

05.Oral|元加強進修迎來一盆冷水：不比元Q進修好幾何

06.Oral|用群卷積創造深度、等變的膠囊搜集

07.Oral|谷歌推出散布式加強進修框架SEED，本能“完爆”IMPALA，可擴充數千臺呆板，還很廉價

3、Spotlight

01.Spotlight|模子參數這么多，泛化本領干什么還能這么強？

02.Spotlight|公道與透徹同樣要害！CMU提出進修公道表征本領，實行算法公道

03.Spotlight|拉攏泛化本領太差？用深度進修融洽拉攏求解器試試

04.Spotlight|加快NAS，僅用0.1秒實行探求

05.Spotlight|華盛頓大學：圖像分門別類中對可實行報復的提防（視頻解讀）

4、Poster

01.Poster|華為諾亞：精巧思維，NAS與「對立」貫串，速度普及11倍

02.Poster|拋開卷積，多頭自提防力不妨表白任何卷積操縱

03.Poster|NAS太難了，探求截止堪比隨機采集樣品！華為給出6條倡導

04.Poster|清華大學提NExT框架，用「神經元實行樹」進修可證明性

05.Poster|谷歌最新接洽：用“復合散度”量化模子合成泛化本領

06.Poster|完勝BERT，谷歌最好NLP預演練模子開源，單卡演練僅需4天

07.Poster|FSNet：運用卷積核大綱舉行深度卷積神經搜集的收縮

08.Poster|“同步平衡熏陶”框架為無監視進修供給更魯棒的偽標簽

09.Poster|趕快神經搜集自符合本領