據 Emergen Research 分析稱(chēng)，到 2028 年，全球深度學(xué)習市場(chǎng)規模預計將以 39.1% 的穩定復合年增長(cháng)率達到 933.4 億美元，推動(dòng)其市場(chǎng)收入的關(guān)鍵因素是采用基于云的技術(shù)和在大數據分析中使用深度學(xué)習系統。

　　那么，究竟什么是深度學(xué)習?它如何工作?

　　據《VentureBeat》在近日《這就是深度學(xué)習如此強大的原因》一文中總結道：深度學(xué)習是機器學(xué)習的一個(gè)子集，它使用神經(jīng)網(wǎng)絡(luò )來(lái)執行學(xué)習和預測。深度學(xué)習在各種任務(wù)中都表現出了驚人的表現，無(wú)論是文本、時(shí)間序列還是計算機視覺(jué)。深度學(xué)習的成功主要來(lái)自大數據的可用性和計算能力，這使得深度學(xué)習的表現遠遠優(yōu)于任何經(jīng)典的機器學(xué)習算法。

　　深度學(xué)習的本質(zhì)：神經(jīng)網(wǎng)絡(luò )和函數

　　有網(wǎng)友曾笑言，“當你想要擬合任何函數或者任何分布，而又沒(méi)有思路時(shí)，試試神經(jīng)網(wǎng)絡(luò )吧!”

　　先上兩個(gè)重要結論：

　　神經(jīng)網(wǎng)絡(luò )是一個(gè)相互連接的神經(jīng)元網(wǎng)絡(luò )，每個(gè)神經(jīng)元都是一個(gè)有限函數逼近器。這樣，神經(jīng)網(wǎng)絡(luò )被視為通用函數逼近器。

　　深度學(xué)習是具有許多隱藏層(通常大于 2 個(gè)隱藏層)的神經(jīng)網(wǎng)絡(luò )。深度學(xué)習是從層到層的函數的復雜組合，從而找到定義從輸入到輸出的映射的函數。

　　在高中數學(xué)我們會(huì )學(xué)到，函數就是從輸入空間到輸出空間的映射。一個(gè)簡(jiǎn)單的 sin (x)函數是從角空間(-180°到 180°或0°到 360°)映射到實(shí)數空間(-1 到1)。函數逼近問(wèn)題是函數論的重要組成部分，涉及的基本問(wèn)題是函數的近似表示問(wèn)題。

　　那么，為什么神經(jīng)網(wǎng)絡(luò )被認為是通用函數逼近器呢?

　　每個(gè)神經(jīng)元學(xué)習一個(gè)有限的函數：f(.)=g(W*X)其中W是要學(xué)習的權重向量，X是輸入向量，g(.)是非線(xiàn)性變換。W*X可以可視化為高維空間(超平面)中的一條線(xiàn)，而g(.)可以是任何非線(xiàn)性可微函數，如 sigmoid、tanh、ReLU 等(常用于深度學(xué)習領(lǐng)域)。

　　在神經(jīng)網(wǎng)絡(luò )中學(xué)習無(wú)非就是找到最佳權重向量W。例如，在y=mx+c中，我們有 2 個(gè)權重：m和c?，F在，根據二維平面空間中點(diǎn)的分布，我們找到滿(mǎn)足某些標準的m及c的最佳值，那么對于所有數據點(diǎn)，預測y和實(shí)際點(diǎn)之間的差異最小。

　　神經(jīng)網(wǎng)絡(luò )“層”效果：學(xué)習具體到類(lèi)別概括的映射

　　如果輸入是獅子的圖像，輸出是屬于獅子類(lèi)的圖像分類(lèi)，那么深度學(xué)習就是學(xué)習將圖像向量映射到類(lèi)的函數。類(lèi)似地，輸入是單詞序列，輸出是輸入句子是否具有正面/中性/負面情緒。因此，深度學(xué)習是學(xué)習從輸入文本到輸出類(lèi)的映射：中性或正面或負面。

　　如何實(shí)現上述任務(wù)呢?

　　每個(gè)神經(jīng)元都是一個(gè)非線(xiàn)性函數，我們將幾個(gè)這樣的神經(jīng)元堆疊在一個(gè)“層”中，每個(gè)神經(jīng)元接收相同的一組輸入但學(xué)習不同的權重W。因此，每一層都有一組學(xué)習函數：f1,f2,…,fn，稱(chēng)為隱藏層值。這些值再次組合，在下一層：h(f1,f2,...,fn)等等。這樣，每一層都由前一層的函數組成(類(lèi)似于h(f(g(x))))。已經(jīng)表明，通過(guò)這種組合，我們可以學(xué)習任何非線(xiàn)性復函數。

　　深度學(xué)習是具有許多隱藏層(通常大于 2 個(gè)隱藏層)的神經(jīng)網(wǎng)絡(luò )。深度學(xué)習是從層到層的函數的復雜組合，從而找到定義從輸入到輸出的映射的函數。

　　深度學(xué)習作為曲線(xiàn)擬合的插值：過(guò)度擬合挑戰與泛化目標

　　深度學(xué)習先驅 Yann LeCun(卷積神經(jīng)網(wǎng)絡(luò )的創(chuàng )造者和圖靈獎獲得者)曾在推特上發(fā)帖稱(chēng)，“深度學(xué)習并沒(méi)有你想象的那么令人驚嘆，因為它僅僅是美化曲線(xiàn)擬合的插值。但是在高維中，沒(méi)有插值之類(lèi)的東西。在高維空間，一切都是外推。”

　　插值(interpolation)是離散函數逼近的重要方法，利用它可通過(guò)函數在有限個(gè)點(diǎn)處的取值狀況，估算出函數在其他點(diǎn)處的近似值。

　　從生物學(xué)的解釋來(lái)看，人類(lèi)通過(guò)逐層解釋圖像來(lái)處理世界的圖像，從邊緣和輪廓等低級特征，到對象和場(chǎng)景等高級特征。神經(jīng)網(wǎng)絡(luò )中的函數組合與此一致，其中每個(gè)函數組合都在學(xué)習關(guān)于圖像的復雜特征。用于圖像最常見(jiàn)的神經(jīng)網(wǎng)絡(luò )架構是 CNN (Convolutional Neural Networks,卷積神經(jīng)網(wǎng)絡(luò ))，它以分層方式學(xué)習這些特征，然后一個(gè)完全連接的神經(jīng)網(wǎng)絡(luò )將圖像特征分類(lèi)為不同的類(lèi)別。

　　比如，給定一組平面上的數據點(diǎn)，我們嘗試通過(guò)插值擬合曲線(xiàn)，該曲線(xiàn)在某種程度上代表了定義這些數據點(diǎn)的函數。我們擬合的函數越復雜(例如在插值中，通過(guò)多項式次數確定)，它就越適合數據;但是，它對新數據點(diǎn)的泛化程度越低。

　　這就是深度學(xué)習面臨挑戰的地方，也就是通常所說(shuō)的過(guò)度擬合問(wèn)題：盡可能地擬合數據，但在泛化方面有所妥協(xié)。幾乎所有深度學(xué)習架構都必須處理這個(gè)重要因素，才能學(xué)習在看不見(jiàn)的數據上表現同樣出色的通用功能。

　　深度學(xué)習如何學(xué)習?問(wèn)題決定了神經(jīng)網(wǎng)絡(luò )架構

　　那么，我們如何學(xué)習這個(gè)復雜的函數呢?

　　這完全取決于手頭的問(wèn)題，其決定了神經(jīng)網(wǎng)絡(luò )架構。如果我們對圖像分類(lèi)感興趣，那么我們使用 CNN。如果我們對時(shí)間相關(guān)的預測或文本感興趣，那么我們使用 RNN(Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò )) 或 Transformer，如果我們有動(dòng)態(tài)環(huán)境(如汽車(chē)駕駛)，那么我們使用強化學(xué)習。

　　除此之外，學(xué)習還涉及處理不同的挑戰：

　　·通過(guò)使用正則化(regularization，用來(lái)防止訓練的模型產(chǎn)生過(guò)擬合與欠擬合現象)處理確保模型學(xué)習通用函數，而不僅僅適合訓練數據。

　　·根據手頭的問(wèn)題，選擇損失函數。粗略地說(shuō)，損失函數是我們想要的(真實(shí)值)和我們當前擁有的(當前預測)之間的誤差函數。

　　·梯度下降是用于收斂到最優(yōu)函數的算法。決定學(xué)習率變得具有挑戰性，因為當我們遠離最優(yōu)時(shí)，我們想要更快地走向最優(yōu)，而當我們接近最優(yōu)時(shí)，我們想要慢一些，以確保我們收斂到最優(yōu)和全局最小值。

　　·大量隱藏層需要處理梯度消失問(wèn)題。跳過(guò)連接和適當的非線(xiàn)性激活函數等架構變化，有助于解決這個(gè)問(wèn)題。

　　基于神經(jīng)架構與大數據：深度學(xué)習帶來(lái)計算挑戰

　　現在我們知道深度學(xué)習只是一個(gè)學(xué)習復雜的函數，它帶來(lái)了其他計算挑戰：

　　要學(xué)習一個(gè)復雜的函數，我們需要大量的數據;為了處理大數據，我們需要快速的計算環(huán)境;因此，我們需要一個(gè)支持這種環(huán)境的基礎設施。

　　使用 CPU 進(jìn)行并行處理不足以計算數百萬(wàn)或數十億的權重(也稱(chēng)為 DL 的參數)。神經(jīng)網(wǎng)絡(luò )需要學(xué)習需要向量(或張量)乘法的權重。這就是 GPU 派上用場(chǎng)的地方，因為它們可以非?？焖俚剡M(jìn)行并行向量乘法。根據深度學(xué)習架構、數據大小和手頭的任務(wù)，我們有時(shí)需要 1 個(gè) GPU，有時(shí)，數據科學(xué)家需要根據已知文獻或通過(guò)測量 1 個(gè) GPU 的性能來(lái)做出決策。

　　通過(guò)使用適當的神經(jīng)網(wǎng)絡(luò )架構(層數、神經(jīng)元數量、非線(xiàn)性函數等)以及足夠大的數據，深度學(xué)習網(wǎng)絡(luò )可以學(xué)習從一個(gè)向量空間到另一個(gè)向量空間的任何映射。這就是讓深度學(xué)習成為任何機器學(xué)習任務(wù)的強大工具的原因。
　?。?a href="http://www.wxlp666.cn/wechat/">邯鄲小程序開(kāi)發(fā)）