深度學習和量子物理是兩個看似聯(lián)系很小的領域，但研究者還是找到了它們之間的關聯(lián)之處。近日，耶路撒冷希伯來大學的幾位研究者的一篇論文《Quantum Entanglement in Deep Learning Architectures》（深度學習架構的量子糾纏），稱深度學習在模擬量子計算中顯示了非常卓越能力。根據(jù)這些研究者的說法，最成功的兩種神經(jīng)網(wǎng)絡類型（卷積神經(jīng)網(wǎng)絡CNN以及遞歸神經(jīng)網(wǎng)絡RNN）都利用了信息冗余，信息冗余在模擬量子計算時所涉及的計算中有著重大的影響。

我們?nèi)匀徊恢罏槭裁瓷窠?jīng)網(wǎng)絡的深度學習可以在許多研究里取得巨大成功，這門學科缺乏一定的理論，經(jīng)驗上的成功不能得到理論上的解釋。卷積神經(jīng)網(wǎng)絡之父Yann LeCun曾說過（https://youtu.be/gG5NCkMerHU），深度學習有點像蒸汽機，熱力學基礎理論的出現(xiàn)晚過蒸汽機許多年。

然而多年來，一些深度學習研究者在理論問題上一直停步不前。

上周，在美國國家科學院主辦的華盛頓特區(qū)深度學習會議上，英特爾高級副總裁兼Mobileye主管Amnon Shashua公布了與希伯來大學同事共同完成的一項新研究，該研究既為深度學習能力提供了重要證據(jù)，也為計算量子物理中一些常見的棘手問題提供了一條前進的道路。（英特爾去年以 141 億美元收購了自動駕駛技術公司Mobileye。）

該研究文章題為《Quantum Entanglement in Deep Learning Architectures》（深度學習架構的量子糾纏），上周發(fā)表在著名期刊《物理評論快報》（Physical Review Letters）上?！窼hashua另一重身份是耶路撒冷希伯來大學計算機科學教授，此項研究文章由Shashua、耶路撒冷希伯來大學計算機科學與工程學院博士生Yoav Levine（主要作者）、耶路撒冷希伯來大學計算機科學博士生Or Sharir、以及新澤西州普林斯頓高等研究院的Nadav Cohen合著完成。 」

文章從理論上證明了深度學習擅長解決某些問題，同時還提出了促進量子計算領域廣泛發(fā)展的方法。

圖/Mobileye：Shashua及其同事的團隊建造了 “CAC（convolutional arithmetic circuit）”（“卷積算術電路”），CAC可復制傳統(tǒng)CNN里的信息重復使用，同時使它與物理學中常用的“張量網(wǎng)絡”模型一起工作。

在量子計算領域，“理論與實踐問題”某種程度上與深度學習相反：量子計算存在很多引人注目的理論，但迄今為止，真正的例子還很少。多年來，Shashua和他的同事，以及其他研究人員，一直在思考如何模擬量子計算的所謂的“多體問題（Many-Body Problem）”。

物理學家 Richard Mattuck 曾在《A Guide to Feynman Diagrams in the Many-Body Problem》一書中將多體問題定義為“多體系統(tǒng)里實體之間交互效應的研究”，多體指涉及到電子、原子、分子及各種其他實體。

Shashua及其團隊發(fā)現(xiàn)并證實：卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡優(yōu)于諸如“受限玻爾茲曼機”的傳統(tǒng)機器學習方法。受限玻爾茲曼機是 20 世紀 80 年代開發(fā)的神經(jīng)網(wǎng)絡方法，一直是物理研究的主流，特別在量子理論模擬領域。

論文作者提出，“以深度卷積及循環(huán)網(wǎng)絡形式的深度學習架構，可以有效地表達高度糾纏的量子系統(tǒng)。”

這里所說的“糾纏”是指量子系統(tǒng)里物體相互作用時的相互關系。實際量子計算在計算糾纏時有著巨大優(yōu)勢，能夠達到極高的效率。而通過傳統(tǒng)的電子計算模擬的方法計算糾纏則可能非常困難，甚至難以著手。

“我們的工作量化了深度學習對于高度糾纏波函數(shù)表示的能力，”論文里寫道，“這將促進理論上多體物理學研究向尖端深度學習體系結構的轉移。”

圖/Mobileye：研究人員通過修改遞歸神經(jīng)網(wǎng)絡，將數(shù)據(jù)重用添加到“遞歸運算電路”（RAC）里。

研究者利用卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡，并將其應用到他們設計的“擴展”中來研究這個問題。他們將此稱為“簡單的‘技巧’”，這種做法涉及上文提到的冗余。據(jù)文章里介紹，事實證明，卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡結構的本質涉及到信息 “重用”。

對于卷積神經(jīng)網(wǎng)絡，卷積“內(nèi)核”的滑動窗口覆蓋了整個圖像，每個時刻都有重疊，因此圖像的某些部分會被卷積神經(jīng)網(wǎng)絡多次接收使用；對于遞歸神經(jīng)網(wǎng)絡，每一層網(wǎng)絡的信息的重復使用也是一種類似的重用，是對序列順序數(shù)據(jù)點的重用。

在卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡這兩種情況下，“這種架構的特征是表達網(wǎng)絡的能力呈指數(shù)級增長，盡管參數(shù)數(shù)量和計算成本方面僅呈線性增長” 。換句話說，由于冗余的優(yōu)越性，用堆疊多層的方法實現(xiàn)的卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡，在計算術語中對事物有更有效的“表達功能”。

例如，傳統(tǒng)的“全連接”神經(jīng)網(wǎng)絡(作者稱之為“經(jīng)驗豐富的”神經(jīng)網(wǎng)絡)需要計算的時間是所表示的物體數(shù)量的平方。文章寫道，RBM（受限玻爾茲曼機）需要的計算時間少些，它的計算時間與物體的數(shù)量成線性關系。而卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡需要的計算時間甚至可以更好，它們所需的計算時間按比例縮放為物體數(shù)量的平方根。

文章寫道，“相對于基于傳統(tǒng)完全連接神經(jīng)網(wǎng)絡的方法”，這些屬性“表明，深度卷積網(wǎng)絡在數(shù)量糾纏建模方面具有顯著優(yōu)勢。實際上，重疊卷積網(wǎng)絡...可以支持任何 2D 系統(tǒng)的糾纏，2D系統(tǒng)的最大規(guī)模可達100×100，這是其他方法所無法實現(xiàn)的。”

為了做到這一點，這些研究者們不得不使用他們提到的“技巧”，但傳統(tǒng)表示量子計算的“張量網(wǎng)絡”不支持信息重用。因此，這些研究者們創(chuàng)建了卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡的改進版。第一個卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡改進版名為“卷積運算電路”（CAC）——這是他們近年來在工作中發(fā)展起來的一種方法，在這里取得了更大的成果。“技巧”在于，在CAC里“輸入數(shù)據(jù)本身的副本”，這有效地復制了卷積神經(jīng)網(wǎng)絡重疊部分的重用。文章作者還創(chuàng)建了對應遞歸神經(jīng)網(wǎng)絡的“遞歸運算電路”（RAC）， 遞歸運算電路用的則是復制輸入信息。

文章寫道，“由于深度RAC每一層的輸出向量在每個時間步都被使用了兩次（作為下一層的輸入，也作為下一個時間步的隱藏向量），數(shù)據(jù)重用在網(wǎng)絡計算過程中是內(nèi)在的。因此，我們在重疊-卷積網(wǎng)絡里復制了輸入，從而獲得了基于深度RAC的張量網(wǎng)絡。”

所有這些的結果都具有雙重意義：深度學習的證明以及量子模擬的發(fā)展方向。

補充材料里對CACs和RACs效率的形式化證明，相當于證明了深度學習方法可以更有效地處理量子糾纏。

作者最后滿懷希望地指出，希望他們的發(fā)現(xiàn)“有助于將量子多體物理學和最先進的機器學習方法更緊密地結合在一起”。

量子計算和深度學習的理論研究可能再也不會和過去一個樣了。

【注：英特爾、耶路撒冷希伯來大學方面關于“人工智能和量子計算”研究文章《Quantum Entanglement in Deep Learning Architectures》（深度學習架構的量子糾纏）獲取方式：關注科技行者微信公眾號（ID：itechwalker），回復關鍵字“量子計算”即可?！?/span>