https://big5.sputniknews.cn/20240425/1058638221.html
俄羅斯科學家：聊天機器人已經學會操縱人
俄羅斯科學家：聊天機器人已經學會操縱人
俄羅斯衛星通訊社
隨著大型語言模型的出現，科學界開始談論人工智能領域的突破。人工智能第一次不僅開始按照預定的算法運行，而且還可以解決甚至此前沒有受過訓練的問題。這是否意味著離“機器人造反”越來越近了？ 有必要限制進步嗎？ 俄羅斯科學院教授康斯坦丁·沃龍佐夫回答了這些和其他問題。 2024年4月25日, 俄羅斯衛星通訊社
2024-04-25T18:45+0800
2024-04-25T18:45+0800
2024-04-25T18:45+0800
俄羅斯
科技
人工智能
機器人
評論
https://cdn.sputniknews.cn/img/103102/65/1031026569_0:23:1500:867_1920x0_80_0_0_c5ab5c917e694b44d51d3bed0df6a667.jpg
在對您的一次採訪中，您曾說現有的“智能”機器已經開始擺脫我們的控制並以自己的方式運行。您認為這會帶來某種危險嗎？“大家都看到了這種危險。” 有很多文章涉及這個問題，目前世界各地進行著幾千項這方面的研究，其中就包括大型語言模型領域的突破。神經網絡經過 TB級 文本上的訓練，幾乎吸收了人類積累的所有知識，其中包括來自互聯網的大量文本內容。這種網絡能夠回答問題，做簡短總結，制定陳述計劃，只要稍加暗示就能糾正自己的錯誤，從一種語言翻譯成另一種語言，以及解決簡單的邏輯問題。而且這些技能大部分都是模型自己獲得的。每種技能都沒有訓練樣本。最重要的是，我們不明白這是如何發生的。我們說“量變引起質變”，但這種哲學解釋並不能消除我們的誤解和困惑。危險在於，該模型生成完全有意義的文本的能力會誤導我們。我們似乎覺得，聊天機器人以為自己很聰明，知道得很多，它有自己的性格和個性，它還能做出決定。這都不對。這些都是深處聊天器人世界的我們需要避免的認知上的扭曲，聊天機器人的確會做出決定，但只是關於接下來生成甚麼詞的問題。它不會思考。主動行動的動詞“思考、決定、做、建議、施加心理壓力、操縱”等等，都不適用於它。這些比喻只會加深我們的誤解。 今後我們不要這樣談論。即使是這樣想。那應該如何對待它呢？聊天機器人不過是個界面，是人與人類知識之間的中介。 這個新的界面比我們已經習慣了二十年的搜索引擎更方便，能夠將搜索結果轉換為文本。但無論我們有怎樣的想法，它絕對是無生命的。您原則上沒有看到失去控制的危險，我這樣理解對嗎？ 我們不會面臨機器人造反的威脅嗎？暫時還沒有威脅。有一些類似聊天機器人欺騙某個人而不是自己完成驗證碼的事件。或者機器人向律師提供了實際上並不存在的類似案件的信息。這裡我發現自己將主動動詞應用於聊天機器人。然而事實並非如此！ 詐騙者使用聊天機器人來欺騙用戶。而律師沒有耐心去復核資料，儘管他應該知道ChatGPT只是“幻覺”，原則上不能作為法庭的材料來源。至少就這個版本和這種技術的現階段而言是如此。主要危險是我們賦予了聊天機器人並不存在的主觀性，有意無意地將我們的責任轉移到了它的身上。而原則上機器人不能承擔責任。機器人沒有主觀能動性。聊天機器人的危險在於，它們學會了獲取信任、操縱人們並能看似合理地撒謊。他們是怎麼學會這個的呢？並不完全是這樣。互聯網上有很多操縱人際交流的例子。神經網絡就是利用這些數據進行訓練的。能夠從同一來源生成虛假信息或假新聞，即網絡在訓練過程中看到了數百萬條新聞的例子。在生成文本時，事實可能會以非常奇特的方式被歪曲和混合。當這個功能第一次被發現時，谷歌開發人員擔心這樣的網絡可能會被用作生成謊言的海洋，最終連一丁點的真相也會失去。最新的 GPT-4 模型更令人印象深刻，它顯然在沒有接受訓練的情況下卻具有許多技能。那麼它究竟是從哪裡獲得的這些知識的呢？還不完全清楚。很難把這叫做“它的知識”。似乎這些能力的出現是因為 一個巨大的網絡在觀察人類語言中幾乎所有內容的同時，學到了語言中典型的修辭和話語結構，以及詞彙構成它們的典型方式。語言中描述的現實規模是巨大的。網絡也同樣巨大。當規模有意義時就會出現這種情況。規模的進一步擴大有可能讓我們失控嗎？ 神經網絡在這方面能走多遠？這樣提問更準確：我們將如何、何時、為何失去控制權，自願將其交給算法？這的確是一個不可控的過程還是我們依然是當前這種局面的主人？當然未來我們肯定會增加它們接受訓練的數據規模。他們很有可能將獲得更多的新技能……還會有多少不可預見的技能被“縫”到模型中。科學界目前正在積極探索它還能做些甚麼。能做甚麼呢？“比如，它被發現有說服力。再比如，它能說服一個人改變其政治立場，而且比政客還有效。此外它還有政治偏好。它的政治偏好從何而來？這要看它社麼學得好。研究表明，ChatGPT具有舊金山灣區普通軟件工程師的政治傾向：左翼自由主義者、綠黨環保主義者。為甚麼會這樣？最有可能的是，英語訓練樣本中存在著更多的這類文本，並且這部分人類知識被更可靠地印在了模型參數中。然而，如果給模型某種提示，那麼就有可能獲得關於相同問題的不同意見。但這不準確。無法保證模型能就任何問題提供全面的意見。它有可能給出一個事實，但也可以編造一些事實。迄今為止大語言模型不具備逐字引用、插入主要來源鏈接或評估來源可靠性的能力。我相信在不久的將來都會得到問題。我們知道有許多學生論文是借助ChatGPT撰寫的。這應該被禁止嗎？我們知道，所有禁止它的嘗試都失敗了。一種提升人類智力的新方法出現了，這加速了信息產品的生產。這是給文明帶來的福祉。當然，前提應該是產品質量好，能造福於民。這就意味著，目的不是教一個人自己寫論文。相反，我們的目的是教技術人員生成有用的文本，進而節省數百人理解某個領域課題或解決實際問題的時間。這是對教育活動的目標和任務進行全面的重新審視。這不僅迫使學生，也迫使教師改變舊有習慣——修改教育任務和知識測試的形式。尤為重要的是，應把摘要發表在相關領域的知名平台上，包含可靠信息，並接受同行評審和抄襲檢查。可見作者在寫作時使用的工具並不那麼重要，不管是搜索引擎、聊天機器人還是圖書館裡的紙質書籍。
https://big5.sputniknews.cn/20231213/1055668487.html
俄羅斯衛星通訊社
feedback.cn@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
2024
俄羅斯衛星通訊社
feedback.cn@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
News
cn_CN
俄羅斯衛星通訊社
feedback.cn@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
俄羅斯衛星通訊社
feedback.cn@sputniknews.com
+74956456601
MIA „Rossiya Segodnya“
俄羅斯, 科技, 人工智能, 機器人, 評論
俄羅斯科學家：聊天機器人已經學會操縱人
獨家
隨著大型語言模型的出現，科學界開始談論人工智能領域的突破。人工智能第一次不僅開始按照預定的算法運行，而且還可以解決甚至此前沒有受過訓練的問題。這是否意味著離“機器人造反”越來越近了？ 有必要限制進步嗎？ 俄羅斯科學院教授康斯坦丁·沃龍佐夫回答了這些和其他問題。
在對您的一次採訪中，您曾說現有的“智能”機器已經開始擺脫我們的控制並以自己的方式運行。您認為這會帶來某種危險嗎？
“大家都看到了這種危險。” 有很多文章涉及這個問題，目前世界各地進行著幾千項這方面的研究，其中就包括大型語言模型領域的突破。神經網絡經過 TB級 文本上的訓練，幾乎吸收了人類積累的所有知識，其中包括來自互聯網的大量文本內容。這種網絡能夠回答問題，做簡短總結，制定陳述計劃，只要稍加暗示就能糾正自己的錯誤，從一種語言翻譯成另一種語言，以及解決簡單的邏輯問題。而且這些技能大部分都是模型自己獲得的。每種技能都沒有訓練樣本。最重要的是，我們不明白這是如何發生的。我們說“量變引起質變”，但這種哲學解釋並不能消除我們的誤解和困惑。
危險在於，該模型生成完全有意義的文本的能力會誤導我們。我們似乎覺得，聊天機器人以為自己很聰明，知道得很多，它有自己的性格和個性，它還能做出決定。這都不對。這些都是深處聊天器人世界的我們需要避免的認知上的扭曲，聊天機器人的確會做出決定，但只是關於接下來生成甚麼詞的問題。它不會思考。主動行動的動詞“思考、決定、做、建議、施加心理壓力、操縱”等等，都不適用於它。這些比喻只會加深我們的誤解。 今後我們不要這樣談論。即使是這樣想。
聊天機器人不過是個界面，是人與人類知識之間的中介。 這個新的界面比我們已經習慣了二十年的搜索引擎更方便，能夠將搜索結果轉換為文本。但無論我們有怎樣的想法，它絕對是無生命的。
您原則上沒有看到失去控制的危險，我這樣理解對嗎？ 我們不會面臨機器人造反的威脅嗎？
暫時還沒有威脅。有一些類似聊天機器人欺騙某個人而不是自己完成驗證碼的事件。或者機器人向律師提供了實際上並不存在的類似案件的信息。這裡我發現自己將主動動詞應用於聊天機器人。然而事實並非如此！ 詐騙者使用聊天機器人來欺騙用戶。而律師沒有耐心去復核資料，儘管他應該知道
ChatGPT只是“幻覺”，原則上不能作為法庭的材料來源。至少就這個版本和這種技術的現階段而言是如此。
主要危險是我們賦予了聊天機器人並不存在的主觀性，有意無意地將我們的責任轉移到了它的身上。而原則上機器人不能承擔責任。機器人沒有主觀能動性。聊天機器人的危險在於，它們學會了獲取信任、操縱人們並能看似合理地撒謊。
並不完全是這樣。互聯網上有很多操縱人際交流的例子。神經網絡就是利用這些數據進行訓練的。能夠從同一來源生成虛假信息或假新聞，即網絡在訓練過程中看到了數百萬條新聞的例子。在生成文本時，事實可能會以非常奇特的方式被歪曲和混合。當這個功能第一次被發現時，谷歌開發人員擔心這樣的網絡可能會被用作生成謊言的海洋，最終連一丁點的真相也會失去。最新的 GPT-4 模型更令人印象深刻，它顯然在沒有接受訓練的情況下卻具有許多技能。
還不完全清楚。很難把這叫做“它的知識”。似乎這些能力的出現是因為 一個巨大的網絡在觀察人類語言中幾乎所有內容的同時，學到了語言中典型的修辭和話語結構，以及詞彙構成它們的典型方式。語言中描述的現實規模是巨大的。網絡也同樣巨大。當規模有意義時就會出現這種情況。
規模的進一步擴大有可能讓我們失控嗎？ 神經網絡在這方面能走多遠？
這樣提問更準確：我們將如何、何時、為何失去控制權，自願將其交給算法？這的確是一個不可控的過程還是我們依然是當前這種局面的主人？當然未來我們肯定會增加它們接受訓練的數據規模。他們很有可能將獲得更多的新技能……還會有多少不可預見的技能被“縫”到模型中。科學界目前正在積極探索它還能做些甚麼。
“比如，它被發現有說服力。再比如，它能說服一個人改變其政治立場，而且比政客還有效。此外它還有政治偏好。
這要看它社麼學得好。研究表明，ChatGPT具有舊金山灣區普通軟件工程師的政治傾向：左翼自由主義者、綠黨環保主義者。
最有可能的是，英語訓練樣本中存在著更多的這類文本，並且這部分人類知識被更可靠地印在了模型參數中。然而，如果給模型某種提示，那麼就有可能獲得關於相同問題的不同意見。但這不準確。無法保證模型能就任何問題提供全面的意見。它有可能給出一個事實，但也可以編造一些事實。迄今為止大語言模型不具備逐字引用、插入主要來源鏈接或評估來源可靠性的能力。我相信在不久的將來都會得到問題。
我們知道有許多學生論文是借助ChatGPT撰寫的。這應該被禁止嗎？
我們知道，所有禁止它的嘗試都失敗了。一種提升人類智力的新方法出現了，這加速了信息產品的生產。這是給文明帶來的福祉。當然，前提應該是產品質量好，能造福於民。這就意味著，目的不是教一個人自己寫論文。相反，我們的目的是教技術人員生成有用的文本，進而節省數百人理解某個領域課題或解決實際問題的時間。
這是對教育活動的目標和任務進行全面的重新審視。這不僅迫使學生，也迫使教師改變舊有習慣——修改教育任務和知識測試的形式。尤為重要的是，應把摘要發表在相關領域的知名平台上，包含可靠信息，並接受同行評審和抄襲檢查。可見作者在寫作時使用的工具並不那麼重要，不管是搜索引擎、聊天機器人還是圖書館裡的紙質書籍。
京公網安備11010502053235號
