深度學(xué)習

    深度學(xué)習是機器學(xué)習研究中的一個新的領域，其動機在于建立、模拟人腦進(jìn)行分析學(xué)習的神經(jīng)網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。深度學(xué)習是無監督學(xué)習的一種(zhǒng)。 深度學(xué)習的概念源于人工神經(jīng)網絡的研究。含多隐層的多層感知器就是一種(zhǒng)深度學(xué)習結構。深度學(xué)習通過(guò)組合低層特征形成(chéng)更加抽象的高層表示屬性類别或特征，以發(fā)現數據的分布式特征表示。

深度

從一個輸入中産生一個輸出所涉及的計算可以通過(guò)一個流向(xiàng)圖(flow graph)來表示:流向(xiàng)圖是一種(zhǒng)能(néng)夠表示計算的圖，在這(zhè)種(zhǒng)圖中每一個節點表示一個基本的計算并且一個計算的值(計算的結果被(bèi)應用到這(zhè)個節點的孩子節點的值)。考慮這(zhè)樣(yàng)一個計算集合，它可以被(bèi)允許在每一個節點和可能(néng)的圖結構中，并定義了一個函數族。輸入節點沒(méi)有父親，輸出節點沒(méi)有孩子。

這(zhè)種(zhǒng)流向(xiàng)圖的一個特别屬性是深度(depth):從一個輸入到一個輸出的最長(cháng)路徑的長(cháng)度。

傳統的前饋神經(jīng)網絡能(néng)夠被(bèi)看做擁有等于層數的深度(比如對(duì)于輸出層爲隐層數加1)。SVMs有深度2(一個對(duì)應于核輸出或者特征空間，另一個對(duì)應于所産生輸出的線性混合)。

解決問題

需要使用深度學(xué)習解決的問題有以下的特征:

1.深度不足會出現問題。

2.人腦具有一個深度結構。

3.認知過(guò)程逐層進(jìn)行，逐步抽象。

在許多情形中深度2就足夠表示任何一個帶有給定目标精度的函數。但是其代價是:圖中所需要的節點數(比如計算和參數數量)可能(néng)變的非常大。理論結果證實那些事(shì)實上所需要的節點數随著(zhe)輸入的大小指數增長(cháng)的函數族是存在的。

我們可以將(jiāng)深度架構看做一種(zhǒng)因子分解。大部分随機選擇的函數不能(néng)被(bèi)有效地表示，無論是用深的或者淺的架構。但是許多能(néng)夠有效地被(bèi)深度架構表示的卻不能(néng)被(bèi)用淺的架構高效表示。一個緊的和深度的表示的存在意味著(zhe)在潛在的可被(bèi)表示的函數中存在某種(zhǒng)結構。如果不存在任何結構，那將(jiāng)不可能(néng)很好(hǎo)地泛化。

優勢

用更多的數據或是更好(hǎo)的算法來提高學(xué)習算法的結果。對(duì)某些應用而言，深度學(xué)習在大數據集上的表現比其他機器學(xué)習(ML)方法都(dōu)要好(hǎo)(稍後(hòu)將(jiāng)讨論例外情況)。這(zhè)些又如何轉化爲現實生活中的情形呢?深度學(xué)習更适合無标記數據，因而它并不局限于以實體識别爲主的自然語言處理(NLP)領域。