目前,對不同架構深度神經網絡的研究日益普及:卷積神經網絡、循環神經網絡、自動編碼神經網絡。包括微軟和谷歌在內的一些列高科技公司都使用深度神經網絡來設計各種各樣的智能系統。隨著深度神經網絡的出現,深度學習這個術語已經開始流行起來。
"人工神經網絡的學習能力是其最令人好奇的性質,"國家核研究大學莫斯科物理工程學院的智能控制系統研究所的教授弗拉基米爾·戈洛夫科解釋道,"神經網絡就像生物系統,它們自己模擬自己,努力實現更好的行為模式"。
在傑弗里·辛頓描寫有神經網絡預訓練技術的科學著作出版後,神經網絡的學習在2006年出現突破。文章中提到,如果利用受限玻爾茲曼機對神經網絡各層進行學習,那麼可以有效地對多層神經網絡進行預訓練,然後通過誤差反向傳播法進行再學習。這些網絡被稱為深信度網絡(Deep Belief Networks, DBN)。
國家核研究大學莫斯科物理工程學院的智能控制系統研究所的教授弗拉基米爾·戈洛夫科對深度機器學習存在的問題和基本模型進行了分析,提出了受限玻爾茲曼機學習的新方法。科學家表明,提出的方法是這種神經網絡學習經典規則的特例。
"美國科學家明斯基和帕伯特曾經發現,從形態分類角度來看,帶有閾值激活函數的單層視感控器形成線性分離表面,因此它不能解決異或任務。而這引發了關於神經網絡進一步發展的悲觀結論。但是,上述見解僅適用於帶有閾值或單調連續激活函數的單層視感控器。在使用信號激活函數時單層視感控器可以解決異或任務,因為它能利用兩個直線函數將形態輸入空間劃分為不同等級。"弗拉基米爾·戈洛夫科解釋道。
這種深度學習法可能對神經網絡的搜索引擎非常有益,根據作者觀點,它將能以高速度搜索相關圖像。
科研數據的使用價值難以估量:它們已經應用在不同領域,包括計算機視覺、語音識別和生物信息學。