維基百科

幻覺 (人工智能)

在人工智能領域中，幻覺（英語：hallucination，或稱人工幻覺[1]）是由人工智能生成的一種回應，它含有貌似事實的虛假或誤導性資訊[2]。

該術語源自幻覺的心理學概念，因為它們具有相似的特徵。然而實際上更相似的概念是「虛談症（confabulation）」，但「幻覺（hallucination）」一詞在人工智能領域已經廣為流傳。人工智能幻覺的危險之處之一是模型的輸出看起來是正確的，而它實際上是錯誤的。

在自然語言處理中

在自然語言處理中，幻覺通常被定義為「生成的內容相對於被提供的源內容而言是無意義或不可信的」。文本和表達之間的編碼和解碼錯誤會導致幻覺。產生不同反應的人工智能訓練也可能導致幻覺。當 AI 在數據集上進行訓練時，也會出現幻覺，其中標記的摘要儘管事實上準確。在GPT-3等系統中，人工智能會根據之前的一系列單詞（包括它自己先前回應過的單詞）生成下一個單詞，隨着對話時長的增加，可能會不斷地產生幻覺。 [1]到2022年， 《紐約時報》等報紙表示擔心，隨着基於大型語言模型的機械人的使用數量持續增長，用戶對機械人輸出的過於信任可能會導致問題。 [3]

2022年8月， Meta在發佈 BlenderBot 3 期間警告說，該系統容易出現「幻覺」，Meta 將其定義為「自信的假話」。 [4] 2022年11月15日，Meta 發佈了卡拉狄加（英語：Galactica）的演示版，旨在「存儲、組合和推理科學知識」。 卡拉狄加生成的內容帶有警告「輸出可能不可靠！語言模型很容易輸出幻覺文本。」在一個案例中，當被要求起草一篇關於創建虛擬形象的論文時，卡拉狄加引用了一位在相關領域工作的工作者的虛構的論文。 Meta 於 11月 17日因其具有一定的冒犯性和因幻覺產生的不準確而撤回了卡拉狄加的演示版。 [5] [6]

OpenAI的ChatGPT於 2022年 12月公開發布測試版，它基於 GPT-3.5 系列大型語言模型。沃頓商學院的莫里克（英語：Ethan Mollick，直譯：莫里克）教授將 ChatGPT 稱為「無所不知、渴望取悅別人但有時會撒謊的實習生（英語：omniscient, eager-to-please intern who sometimes lies to you）」。數據科學家特蕾莎（英語：Teresa Kubacka） 講述了其故意編造「英語：cycloidal inverted electromagnon，直譯：擺線倒置電磁鐵」這個短語，並通過向 ChatGPT 詢問不存在的現象來測試 ChatGPT。 ChatGPT 回答了了一個聽起來似是而非的答案，並配以看似有理有據的引用，使她不得不仔細檢查自己是否不小心輸入了真實現象的名稱。奧倫（ 英語：Oren Etzioni，直譯：奧倫·埃齊安）等其他學者一起評估 Kubacka ，並評價道此類軟件通常可以為用戶提供「一個非常令人印象深刻的答案，但卻是完全錯誤的」。 [7]

Mashable的麥克（英語：Mike Pearl） 使用多個問題測試了 ChatGPT。在其中一個例子中，他詢問了「中美洲除墨西哥以外最大的國家」的模型。 ChatGPT回復了危地馬拉 ，而答案卻是尼加拉瓜 。 [8]當CNBC向 ChatGPT 詢問「The Ballad of Dwight Fry」的歌詞時，ChatGPT 提供了虛構的歌詞。 [9]在為新iPhone 14 Pro撰寫評論的過程中，ChatGPT 錯誤地將相關晶片組列為 A15 而不是A16 ，儘管這可以歸因於ChatGPT 是在 2021 年結束的數據集上訓練的。 [10]當被問及有關新不倫瑞克省的問題時，ChatGPT 回答了很多正確答案，但錯誤地將薩曼莎·比歸類為「來自新不倫瑞克省的人」。 [11]當被問及天體物理學磁場時，ChatGPT 錯誤地提出「黑洞的（強）磁場是由其附近極強的引力產生的」的理論。 [12] 快公司要求 ChatGPT 生成一篇關於特斯拉上一財季的新聞文章； ChatGPT 創建了一篇連貫的文章，但編造了其中包含的財務數字。 [13]

人們認為，自然語言模型產生幻覺數據的可能原因有很多。 [1]例如：

  • 來自數據的幻覺：源內容存在差異（大型訓練數據集通常會發生這種情況），
  • 來自訓練的幻覺：當數據集中幾乎沒有差異時，幻覺仍然會發生。在這種情況下，它源自模型的訓練方式。造成這種幻覺的原因有很多，例如：
    • 來自轉換器的錯誤解碼
    • 模型先前生成的歷史序列的偏差
    • 模型在其參數中編碼其知識的方式產生的偏差

在它類人工智能中

「幻覺」的概念比自然語言處理的應用更廣泛。任何 AI 的自信反應，如果可能被訓練數據判斷為不合理時，都可以被標記為幻覺。 [1] 《連線》在 2018年指出，儘管沒有記錄在案的其他對抗性攻擊（研究人員的概念驗證攻擊除外），但智能電子產品和自動駕駛等系統容易受到影響這一點「幾乎沒有爭議」。對抗性攻擊可能導致其它類別的人工智能產生幻覺。示例包括在計算機視覺不可識別的停止標誌；一個音頻剪輯被設計成聽起來沒有表達什麼信息，但被某軟件轉錄為「evil.com」等。 [14]

分析

《連線》引用的各種研究人員將對抗性幻覺歸類為高維統計現象，或者將幻覺歸因於訓練數據不足。一些研究人員認為，在物體識別的情況下，一些被人類歸類為「幻覺」的「不正確」人工智能反應實際上可能被訓練數據證明是正確的，甚至人工智能可能給出了人類審閱者認為的「正確」答案，人類並未看到。例如，對於人類來說，一張看起來像狗的普通圖像的對抗性圖像，實際上可能被 AI 視為包含微小的圖案，這些圖案（在真實圖像中）只會在觀看貓時出現。人工智能檢測到了人類不敏感的源圖像中的細節。 [15]

然而，這些發現受到了其他研究人員的質疑。 [16]例如，有人反對稱模型可能偏向表面統計數據，導致對抗訓練在現實場景中不具有魯棒性。 [16]

緩解方法

幻覺現象仍未完全被了解。 [1]因此，從業者仍在進行研究以試圖減輕/減緩其出現。 [17]特別是，研究表明，語言模型不僅會產生幻覺，還會放大幻覺，即使是那些旨在緩解這一問題的模型也遇到了同樣的問題。 [18]

參見

參考

  1. ^ 1.0 1.1 1.2 1.3 1.4 Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Dai, Wenliang; Madotto, Andrea; Fung, Pascale. Survey of Hallucination in Natural Language Generation (pdf). ACM Computing Surveys (Association for Computing Machinery). November 2022 [15 January 2023]. S2CID 246652372. doi:10.1145/3571730. （原始內容存檔於2023-03-26）. 
  2. ^ Definition of HALLUCINATION. www.merriam-webster.com. 2024-02-23 [2024-03-06]. （原始內容存檔於2023-10-07） （英語）. 
  3. ^ Metz, Cade. The New Chatbots Could Change the World. Can You Trust Them?. The New York Times. 10 December 2022 [30 December 2022]. （原始內容存檔於2023-04-18）. 
  4. ^ Tung, Liam. Meta warns its new chatbot may forget that it's a bot. ZDNet (Red Ventures). 8 August 2022 [30 December 2022]. （原始內容存檔於2023-03-26） （英語）. 
  5. ^ Edwards, Benj. New Meta AI demo writes racist and inaccurate scientific literature, gets pulled. Ars Technica. 18 November 2022 [30 December 2022]. （原始內容存檔於2023-04-10） （美國英語）. 
  6. ^ Michael Black [@Michael_J_Black]. I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative. (推文). 2022年11月17日 –透過Twitter. 
  7. ^ Bowman, Emma. A new AI chatbot might do your homework for you. But it's still not an A+ student. NPR. 19 December 2022 [29 December 2022]. （原始內容存檔於2023-01-20） （英語）. 
  8. ^ Pearl, Mike. The ChatGPT chatbot from OpenAI is amazing, creative, and totally wrong. Mashable. 3 December 2022 [5 December 2022]. （原始內容存檔於2022-12-10）. 
  9. ^ Pitt, Sofia. Google vs. ChatGPT: Here's what happened when I swapped services for a day. CNBC. 15 December 2022 [30 December 2022]. （原始內容存檔於2023-01-16） （英語）. 
  10. ^ Wan, June. OpenAI's ChatGPT is scary good at my job, but it can't replace me (yet). ZDNet (Red Ventures). 8 December 2022 [30 December 2022]. （原始內容存檔於2023-02-15） （英語）. 
  11. ^ Huizinga, Raechel. We asked an AI questions about New Brunswick. Some of the answers may surprise you. CBC.ca. 2022-12-30 [30 December 2022]. （原始內容存檔於2023-03-26）. 
  12. ^ Zastrow, Mark. We Asked ChatGPT Your Questions About Astronomy. It Didn't Go so Well.. Discover (Kalmbach Publishing Co.). 2022-12-30 [31 December 2022]. （原始內容存檔於2023-03-26） （英語）. 
  13. ^ Lin, Connie. How to easily trick OpenAI's genius new ChatGPT. Fast Company. 5 December 2022 [6 January 2023]. （原始內容存檔於2023-03-29）. 
  14. ^ Simonite, Tom. AI Has a Hallucination Problem That's Proving Tough to Fix. Wired (Condé Nast). 2018-03-09 [29 December 2022]. （原始內容存檔於2018-03-12）. 
  15. ^ Matsakis, Louise. Artificial Intelligence May Not 'Hallucinate' After All. Wired. 8 May 2019 [29 December 2022]. （原始內容存檔於2023-03-26）. 
  16. ^ 16.0 16.1 Gilmer, Justin; Hendrycks, Dan. A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'. Distill. 2019-08-06, 4 (8) [2023-01-24]. S2CID 201142364. doi:10.23915/distill.00019.1. （原始內容存檔於2023-03-26）. 
  17. ^ Nie, Feng; Yao, Jin-Ge; Wang, Jinpeng; Pan, Rong; Lin, Chin-Yew. A Simple Recipe towards Reducing Hallucination in Neural Surface Realisation (PDF). Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (Association for Computational Linguistics). July 2019: 2673–2679 [15 January 2023]. S2CID 196183567. doi:10.18653/v1/P19-1256. （原始內容存檔 (PDF)於2023-03-27）. 
  18. ^ Dziri, Nouha; Milton, Sivan; Yu, Mo; Zaiane, Osmar; Reddy, Siva. On the Origin of Hallucinations in Conversational Models: Is it the Datasets or the Models? (PDF). Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Association for Computational Linguistics. July 2022 [15 January 2023]. doi:10.18653/v1/2022.naacl-main.38. （原始內容存檔 (PDF)於2023-04-06）. 
取自 "https://zh.wikipedia.org/w/index.php?title=幻觉_(人工智能)&oldid=85379541"