俄羅斯科學家：聊天機器人已經學會操縱人

“大家都看到了這種危險。” 有很多文章涉及這個問題，目前世界各地進行著幾千項這方面的研究，其中就包括大型語言模型領域的突破。神經網絡經過 TB級 文本上的訓練，幾乎吸收了人類積累的所有知識，其中包括來自互聯網的大量文本內容。這種網絡能夠回答問題，做簡短總結，制定陳述計劃，只要稍加暗示就能糾正自己的錯誤，從一種語言翻譯成另一種語言，以及解決簡單的邏輯問題。而且這些技能大部分都是模型自己獲得的。每種技能都沒有訓練樣本。最重要的是，我們不明白這是如何發生的。我們說“量變引起質變”，但這種哲學解釋並不能消除我們的誤解和困惑。

危險在於，該模型生成完全有意義的文本的能力會誤導我們。我們似乎覺得，聊天機器人以為自己很聰明，知道得很多，它有自己的性格和個性，它還能做出決定。這都不對。這些都是深處聊天器人世界的我們需要避免的認知上的扭曲，聊天機器人的確會做出決定，但只是關於接下來生成甚麼詞的問題。它不會思考。主動行動的動詞“思考、決定、做、建議、施加心理壓力、操縱”等等，都不適用於它。這些比喻只會加深我們的誤解。 今後我們不要這樣談論。即使是這樣想。

聊天機器人不過是個界面，是人與人類知識之間的中介。 這個新的界面比我們已經習慣了二十年的搜索引擎更方便，能夠將搜索結果轉換為文本。但無論我們有怎樣的想法，它絕對是無生命的。

暫時還沒有威脅。有一些類似聊天機器人欺騙某個人而不是自己完成驗證碼的事件。或者機器人向律師提供了實際上並不存在的類似案件的信息。這裡我發現自己將主動動詞應用於聊天機器人。然而事實並非如此！ 詐騙者使用聊天機器人來欺騙用戶。而律師沒有耐心去復核資料，儘管他應該知道ChatGPT只是“幻覺”，原則上不能作為法庭的材料來源。至少就這個版本和這種技術的現階段而言是如此。

主要危險是我們賦予了聊天機器人並不存在的主觀性，有意無意地將我們的責任轉移到了它的身上。而原則上機器人不能承擔責任。機器人沒有主觀能動性。聊天機器人的危險在於，它們學會了獲取信任、操縱人們並能看似合理地撒謊。

並不完全是這樣。互聯網上有很多操縱人際交流的例子。神經網絡就是利用這些數據進行訓練的。能夠從同一來源生成虛假信息或假新聞，即網絡在訓練過程中看到了數百萬條新聞的例子。在生成文本時，事實可能會以非常奇特的方式被歪曲和混合。當這個功能第一次被發現時，谷歌開發人員擔心這樣的網絡可能會被用作生成謊言的海洋，最終連一丁點的真相也會失去。最新的 GPT-4 模型更令人印象深刻，它顯然在沒有接受訓練的情況下卻具有許多技能。

還不完全清楚。很難把這叫做“它的知識”。似乎這些能力的出現是因為 一個巨大的網絡在觀察人類語言中幾乎所有內容的同時，學到了語言中典型的修辭和話語結構，以及詞彙構成它們的典型方式。語言中描述的現實規模是巨大的。網絡也同樣巨大。當規模有意義時就會出現這種情況。

這樣提問更準確：我們將如何、何時、為何失去控制權，自願將其交給算法？這的確是一個不可控的過程還是我們依然是當前這種局面的主人？當然未來我們肯定會增加它們接受訓練的數據規模。他們很有可能將獲得更多的新技能……還會有多少不可預見的技能被“縫”到模型中。科學界目前正在積極探索它還能做些甚麼。

“比如，它被發現有說服力。再比如，它能說服一個人改變其政治立場，而且比政客還有效。此外它還有政治偏好。

這要看它社麼學得好。研究表明，ChatGPT具有舊金山灣區普通軟件工程師的政治傾向：左翼自由主義者、綠黨環保主義者。

最有可能的是，英語訓練樣本中存在著更多的這類文本，並且這部分人類知識被更可靠地印在了模型參數中。然而，如果給模型某種提示，那麼就有可能獲得關於相同問題的不同意見。但這不準確。無法保證模型能就任何問題提供全面的意見。它有可能給出一個事實，但也可以編造一些事實。迄今為止大語言模型不具備逐字引用、插入主要來源鏈接或評估來源可靠性的能力。我相信在不久的將來都會得到問題。

我們知道，所有禁止它的嘗試都失敗了。一種提升人類智力的新方法出現了，這加速了信息產品的生產。這是給文明帶來的福祉。當然，前提應該是產品質量好，能造福於民。這就意味著，目的不是教一個人自己寫論文。相反，我們的目的是教技術人員生成有用的文本，進而節省數百人理解某個領域課題或解決實際問題的時間。

這是對教育活動的目標和任務進行全面的重新審視。這不僅迫使學生，也迫使教師改變舊有習慣——修改教育任務和知識測試的形式。尤為重要的是，應把摘要發表在相關領域的知名平台上，包含可靠信息，並接受同行評審和抄襲檢查。可見作者在寫作時使用的工具並不那麼重要，不管是搜索引擎、聊天機器人還是圖書館裡的紙質書籍。