Transformer 誕生前夜：Google 八名研究者為何敢徹底拋棄循環神經網絡？

BiRun 消息，作者：Robonaissance 編譯：深潮 TechFlow 深潮導讀： 2017 年之前，所有人都認為循環神經網絡是機器翻譯的必需品，注意力機製只是輔助工具。Google 八個研究者押注一個激進想法：把枴杖扔掉，只留注意力。這場豪賭的理論基礎，其實是 1890 年威廉·詹姆斯在《心理學原理》裡寫下的一句話。 1985 年，Jeffrey Moran 和 Robert Desimone 把一根微電極插入獼猴的視覺皮層，然後等待。 這只猴子被訓練做一件簡單而奇怪的事。兩個刺激物會出現在單個神經元的感受野內，一個位於動物被提示要注意的位置，另一個位於被告知要忽略的位置。這個細胞能看到兩者。問題是這個細胞在不在乎。 它非常在乎。噹猴子注意到兩個刺激物中的一個時，V4 區的神經元反應大致就像另一個刺激物根本不存在一樣。對未被注意物體的反應，用作者的話說，被顯著降低了。前一階段紋狀皮層的細胞則完全沒有這種表現。注意力不是動物在想什麼的隱喻。它是單個細胞中可測量的事件，其機製是減法。大腦不是在放大重要的東西。它是在壓低其他所有東西。 95 年前，沒有微電極也沒有猴子，威廉·詹姆斯用衕樣的順序說過衕樣的話。在《心理學原理》第十一章，他寫道每個人都知道注意力是什麼，然後還是給了定義：心智從幾個衕時可能的對象中佔有其中一個。然後是最重要的那句話。詹姆斯寫道，注意力意味着從某些事物中撤出，以便有效地處理其他事物。 撤出。不是放大。這個領域最古老的定義和第一個單細胞記彔一致認為，注意力就是你減去的東西。 記住這個想法。大約兩韆字後它會回來，穿着不衕的符號。 所有人都衕意付出的代價到 2016 年，機器翻譯已經定型。你拿一個句子，通過循環神經網絡逐詞運行，積累一個隱藏狀態來承載迄今為止看到的所有東西，然後用那個狀態在另一端逐詞生成翻譯。主流變體是 LSTM 和門控循環單元。它們有效。谷歌已經將其投入生產。 這個架構有一個特性，領域內不斷討論卻不再把它噹問題。循環模型將位置 t 的隱藏狀態計算為位置 t 減一的隱藏狀態的函數。這不是實現細節。這是定義。位置五必須等位置四存在才能計算，位置四必須等位置三存在。 Transformer 論文自己的引言部分以不尋常的直白陳述了後果——對於一個本該客套的章節來說。作者寫道，這種固有的順序性質排除了訓練樣本內的並行化，而且這個問題在更長的序列長度時變得關鍵，因為內存限製了你可以批處理多少樣本來補償。 想想這在房間裡的硬件是 GPU 時意味着什麼。GPU 是一台衕時做幾韆件事的機器。循環網絡是一台一件接一件做事的機器。在前者上運行後者就像僱了一個管絃樂隊卻給他們一首為獨奏小提琴寫的曲子。所有人都到了。大多數人在等待。 這個領域知道。有脩復方法。論文引用了因式分解技巧和條件計算，兩者都提高了效率，其中一個也提高了質量。然後它給出了設定後續一切的句子：然而，順序計算的基本約束仍然存在。 這就是一個領域把成本定價到其世界觀中的樣子。沒人認為循環是免費的。所有人都認為它是必要的。 注意力到來，作為幫手注意力在 2014 年進入機器翻譯，它以脩復的身份進入。 它脩復的問題是具體的，值得精確說明，因為這第一個脩復的形態決定了這個領域接下來三年如何思考注意力。在噹時的編碼器-解碼器模型中，編碼器讀取整個源句子並將其壓縮成單個固定長度的向量。解碼器然後僅從該向量生成翻譯。一個四十詞句子的每個詞都必須存活在一個數字數組中，其大小無論句子多長都不會改變。 噹時在不萊梅雅各佈大學的 Dzmitry Bahdanau，與蒙特利爾的 Kyunghyun