俄羅斯科學家改進了深度學習神經網絡的方法

© 照片 : sarfti.ru俄羅斯科學家改進了深度學習神經網絡的方法
俄羅斯科學家改進了深度學習神經網絡的方法 - 俄羅斯衛星通訊社
關注
在國家核研究大學莫斯科物理工程學院的智能控制系統研究所提出了訓練受限玻爾茲曼機(一種神經網絡)的新方法,它可以優化數據的語義編碼、可視化和識別過程。研究成果發表在Optical Memory and Neural Networks雜誌中。

目前,對不同架構深度神經網絡的研究日益普及:卷積神經網絡、循環神經網絡、自動編碼神經網絡。包括微軟和谷歌在內的一些列高科技公司都使用深度神經網絡來設計各種各樣的智能系統。隨著深度神經網絡的出現,深度學習這個術語已經開始流行起來。

俄羅斯國家核研究大學莫斯科工程物理學院開發出作曲家虛擬助理軟件 - 俄羅斯衛星通訊社
俄羅斯國家核研究大學"莫斯科工程物理學院"開發出作曲家虛擬助理軟件
在深度學習系統中自動化地進行特徵選擇和設定過程。也就是說,網絡獨立地確定和使用最有效的算法來分級提取特徵。深度學習具有利用統一最優的算法對大樣本進行研究的特點。標準的優化算法同時對所有的操作參數進行設定,並通過所謂的反向傳播法有效地評估神經網絡每個參數對誤差的影響。

"人工神經網絡的學習能力是其最令人好奇的性質,"國家核研究大學莫斯科物理工程學院的智能控制系統研究所的教授弗拉基米爾·戈洛夫科解釋道,"神經網絡就像生物系統,它們自己模擬自己,努力實現更好的行為模式"。

在傑弗里·辛頓描寫有神經網絡預訓練技術的科學著作出版後,神經網絡的學習在2006年出現突破。文章中提到,如果利用受限玻爾茲曼機對神經網絡各層進行學習,那麼可以有效地對多層神經網絡進行預訓練,然後通過誤差反向傳播法進行再學習。這些網絡被稱為深信度網絡(Deep Belief Networks,  DBN)。

國家核研究大學莫斯科物理工程學院的智能控制系統研究所的教授弗拉基米爾·戈洛夫科對深度機器學習存在的問題和基本模型進行了分析,提出了受限玻爾茲曼機學習的新方法。科學家表明,提出的方法是這種神經網絡學習經典規則的特例。

"美國科學家明斯基和帕伯特曾經發現,從形態分類角度來看,帶有閾值激活函數的單層視感控器形成線性分離表面,因此它不能解決異或任務。而這引發了關於神經網絡進一步發展的悲觀結論。但是,上述見解僅適用於帶有閾值或單調連續激活函數的單層視感控器。在使用信號激活函數時單層視感控器可以解決異或任務,因為它能利用兩個直線函數將形態輸入空間劃分為不同等級。"弗拉基米爾·戈洛夫科解釋道。

科學家發明瞭一種可以改善癌症治療的離子加速法 - 俄羅斯衛星通訊社
科學家發明瞭一種可以改善癌症治療的離子加速法
在其文章中還對使用深度神經網絡對數據進行壓縮、可視化和識別的前景進行了分析。此外,戈洛夫科提出了利用深度自動關聯神經網絡來實現語義編碼(散列)的方法。

這種深度學習法可能對神經網絡的搜索引擎非常有益,根據作者觀點,它將能以高速度搜索相關圖像。

科研數據的使用價值難以估量:它們已經應用在不同領域,包括計算機視覺、語音識別和生物信息學。

新聞時間線
0