重磅 | Yan LeCun眼中的深度學習與人工智能未來（附PPT下載）

ID:110653 · 發表于 2016-3-26 01:16

2016年3月24日，紐約大學教授、Facebook AI研究院主任LeCun在CERN Colloquium上發表了一次演講，以下是這次演講PPT摘要。進入公眾號界面，回復數字26，可下載本文所涉及PPT：Deep Learning and the Future of AI

在過去的幾年，人工智能的快速發展讓我們的智能手機、社交網絡、搜索引擎能夠相當準確地識別聲音、面孔以及照片上的物體。這些巨大進步很大一部分與新一類機器學習方式，亦即深度學習出現有關。

LeCun首先提出這樣一個問題，打造智能機器，應該復制大腦嗎？不必要，但可以從大腦汲取靈感。大腦是一臺運作高效的計算機，而人工智能系統的效率僅為其百萬分之一（考慮到神經突觸的復雜性）。因此，我們可以從大自然汲取靈感，但不要太多。1957年誕生的感知器是第一臺學習機器，也是先輩們對生物神經學科的深刻理解和融會貫通，一個簡單的帶有自適性“突觸性權重”的模擬神經元，感知器算法實際上是在不斷“猜測”正確的權重和偏移量。

接下來，LeCun介紹了一般機器學習，監督學習，大規模機器學習。上世紀五十年代末以來，模式識別的傳統模式是固定（Fixed）/工程化選取的特征（engineered features）（or固定內核） +可訓練分類器。傳統模式識別: 固定（Fixed）/人工特征提取（Handcrafted Feature Extractor）；主流現代的模式識別：無監督中級層面特征（Unsupervised mid-level features）；深度學習：表征具有層級性，能進行訓練。深度學習，靈感源自大腦視覺皮層的信號處理：杏仁核通路具有多層級的。所謂深度，就是不止有一個非線性特征轉換層級。

多層神經網絡

多層神經網絡的特點。多層簡單單元（Multiple Layers of simple units）；每個單元計算輸入加權和（Each units computes a weighted sum of its inputs)；通過非線性函數的加權和（Weighted sum is passed through a non-linear function）；學習算法改變權重（The learning algorithm changes the weights）。

典型的多層神經網絡結構：線性模塊（Linear Module ）， ReLU 模塊 (Rectified Linear Unit) ，成本模塊（ Cost Module）：平方距離（Squared Distance）以及目標函數（Objective Function ）。

通過組合模塊打造一個網絡。

在任何結構運行方面，他指出，任何連接圖表都是允許的；任何模塊都是允許的；絕大多數框架提供自動區分。

最后談到了多層網絡目標函數非凸。

CNN

一種特殊的深度學習系統類型叫卷積網絡（convolutional network， ConvNet），在圖像和語音識別上非常的成功。ConvNets是一種人工神經網絡，其構造受到視覺皮質結構的啟發。ConvNets以及其他深度學習系統的特別之處在于，能夠端到端地學習整個感知過程。深度學習系統自動學習感知世界中恰當表征，作為學習過程的一部分。

架構上，CNN多加了這兩層——（卷積層和pooling層），也是卷積神經網絡（CNNs/ConvNets）和普通舊神經網絡的主要區別。

卷積網絡（vintage 1990）以及Hubel & Wiesel's 的視覺皮層結構模型。根據Hubel和Wiesel的層級模型，視覺皮層中的神經網絡具有一個層級結構：LGB（外側膝狀體）→樣品細胞→復雜細胞→低階超復雜細胞→高階超復雜細胞。低階超復雜細胞和高階超復雜細胞之間的神經網絡具有一個和簡單細胞與復雜細胞之間的網絡類似的結構。在這種層狀結構中，較高級別的細胞通常會有這樣的傾向，即對刺激模式的更復雜的特征進行選擇性響應，同時也具有一個更大的接收域，而且對刺激模式位置的移動更不敏感。因此，模型中就引入了類似于層級模型的結構。

整體結構: multiple stages of Normalization → Filter Bank → Non-Linearity → Pooling。

一些應用（臉部識別，讀取支票，行人探測，場景解釋/標簽等等），以及使用CNN進行物體識別和定位，語音識別。LeCun指出，CNN（將）無處不在。

自然語言理解，FB的Q&A系統以及新型的深度學習結構，記憶增強網絡

記憶增強網絡超越了感知，具有推理（reasoning）、attention和事實記憶（factual memory）的能力。深度學習系統正被用于越來越多的應用領域，比如，圖片和視頻管理

帳號		自動登錄	找回密碼
密碼			立即注冊

久久久久久久999_99精品久久精品一区二区爱城_成人欧美一区二区三区在线播放_国产精品日本一区二区不卡视频_国产午夜视频_欧美精品在线观看免费

重磅 | Yan LeCun眼中的深度學習與人工智能未來（附PPT下載）

評分