開源人工智慧

開源人工智慧(英語:Open-source artificial intelligence)是將開源實踐應用於人工智慧資源開發的做法。許多開源人工智慧產品都是基於大公司共享的開源軟體,並對現有工具和技術進行改進。[1] 流行的開源人工智慧項目類別包括大型語言模型機器翻譯工具和聊天機器人[2] 對於開發開源人工智慧資源的軟體開發人員來說,他們必須信任他們在開發中使用的各種其他開源軟體組件。[3]

大型語言模型

開源大型語言基礎模型比較
模型 開發機構 參數計數 上下文窗口 許可
LLaMA[4] Meta AI 7B, 13B, 33B, 65B 2048 ——
LLaMA 2[5][6] Meta AI 7B, 13B, 70B 4k Custom Meta License
Mistral 7B[7] Mistral AI 7 billion 8k[8] Apache 2.0
GPT-J[9] EleutherAI 6 billion 2048 Apache 2.0
Pythia[10] EluetherAI 70 million - 12 billion —— Apache 2.0 (Pythia-6.9B only)[11]

參見

參考資料

  1. ^ Heaven, Will Douglas. The open-source AI boom is built on Big Tech's handouts. How long will it last?. MIT Technology Review. May 12, 2023 [2023-12-15]. (原始內容存檔於2024-01-05) (英語). 
  2. ^ Castelvecchi, Davide. Open-source AI chatbots are booming — what does this mean for researchers?. Nature. 29 June 2023, 618 (7967): 891–892. doi:10.1038/d41586-023-01970-6. 
  3. ^ Thummadi, Babu Veeresh. Artificial Intelligence (AI) Capabilities, Trust and Open Source Software Team Performance. Lecture Notes in Computer Science 12896. 2021: 629–640. ISBN 978-3-030-85446-1. doi:10.1007/978-3-030-85447-8_52. 
  4. ^ Introducing LLaMA: A foundational, 65-billion-parameter language model. 2023-09-11 [2023-10-03]. (原始內容存檔於2023-09-11). 
  5. ^ meta-llama/Llama-2-70b-chat-hf · Hugging Face. huggingface.co. [2023-10-03]. (原始內容存檔於2023-12-30). 
  6. ^ Llama 2 - Meta AI. ai.meta.com. [2023-10-03]. (原始內容存檔於2024-01-05) (英語). 
  7. ^ mistralai/Mistral-7B-v0.1 · Hugging Face. huggingface.co. [2023-10-03]. (原始內容存檔於2023-12-29). 
  8. ^ AI, Mistral. Mistral 7B. mistral.ai. 2023-09-27 [2023-10-03]. (原始內容存檔於2024-01-06) (美國英語). 
  9. ^ EleutherAI/gpt-j-6b · Hugging Face. huggingface.co. 2023-05-03 [2023-10-03]. (原始內容存檔於2023-03-12). 
  10. ^ Biderman, Stella; Schoelkopf, Hailey; Anthony, Quentin; Bradley, Herbie; O'Brien, Kyle; Hallahan, Eric; Mohammad Aflah Khan; Purohit, Shivanshu; USVSN Sai Prashanth; Raff, Edward; Skowron, Aviya; Sutawika, Lintang; Oskar van der Wal. [2304.01373] Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling. 2023-10-03. arXiv:2304.01373  [cs.CL]. 
  11. ^ EleutherAI/pythia-6.9b · Hugging Face. huggingface.co. 2023-05-03 [2023-10-03]. (原始內容存檔於2023-12-15).