阿西什·瓦斯瓦尼

阿西什·瓦斯瓦尼(英語:Ashish Vaswani)是一名從事深度學習計算機科學家[1],因其在人工智慧自然語言處理(NLP)領域的重大貢獻而知名。他是開創性論文《Attention Is All You Need英语Attention Is All You Need》的合著者之一[2],該論文介紹了Transformer模型,這是一種使用自注意力機制的新型架構,自此成為NLP領域許多最先進模型的基礎。Transformer架構是語言模型的核心,為ChatGPT等應用提供了動力[3][4][5]。他是Adept人工智慧實驗室的共同創辦人[6][7],也曾是Google大腦的研究科學家[8][9]

職業生涯

2002年,瓦斯瓦尼完成貝拉理工學院梅斯拉分校英语Birla Institute of Technology, Mesra電腦科學工程學的學業。2004年,他前往美國南加州大學繼續深造[10],並獲得博士學位[11]。他曾在Google擔任研究員[12],是Google大腦團隊的一員。 他曾是Adept AI Labs的聯合創始人之一,但後來離開該公司[13][14]

知名作品

瓦斯瓦尼最知名的作品是2017年發表的論文《Attention Is All You Need英语Attention Is All You Need[15]。論文介紹了Transformer模型,該模型在序列到序列任務中避免使用遞歸,而完全依賴自注意力機制。該模型對隨後幾個最先進的NLP模型(包括BERT[16]GPT-2GPT-3)的開發起到重要作用。

參考資料

  1. ^ Ashish Vaswani. scholar.google.com. [2023-07-11]. (原始内容存档于2023-12-22). 
  2. ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention Is All You Need. December 5, 2017. arXiv:1706.03762  [cs.CL]. 
  3. ^ Inside the brain of ChatGPT. stackbuilders.com. [2023-07-12]. (原始内容存档于2023-12-08) (英语). 
  4. ^ Understanding ChatGPT as explained by ChatGPT. Advancing Analytics. 2023-01-18 [2023-07-12]. (原始内容存档于2023-07-12) (美国英语). 
  5. ^ Seetharaman, Deepa; Jin, Berber. ChatGPT Fever Has Investors Pouring Billions Into AI Startups, No Business Plan Required. Wall Street Journal. 2023-05-08 [2023-07-12]. ISSN 0099-9660. (原始内容存档于2023-11-06) (美国英语). 
  6. ^ Introducing Adept. [2024-01-04]. (原始内容存档于2024-02-23). 
  7. ^ Top ex-Google AI researchers raise $8 million in funding from Thrive Capital. The Economic Times. May 4, 2023 [2024-01-04]. (原始内容存档于2023-11-03). 
  8. ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention is All You Need. May 21, 2017. arXiv:1706.03762  [cs.CL]. 
  9. ^ Shead, Sam. A.I. gurus are leaving Big Tech to work on buzzy new start-ups. CNBC. 2022-06-10 [2023-07-12]. (原始内容存档于2024-02-29) (英语). 
  10. ^ Team, OfficeChai. The Indian Researchers Whose Work Led To The Creation Of ChatGPT. OfficeChai. February 4, 2023 [2024-01-04]. (原始内容存档于2023-11-29). 
  11. ^ Ashish Vaswani's webpage at ISI. www.isi.edu. [2024-01-04]. (原始内容存档于2023-10-14). 
  12. ^ Transformer: A Novel Neural Network Architecture for Language Understanding. ai.googleblog.com. August 31, 2017 [2024-01-04]. (原始内容存档于2021-10-27). 
  13. ^ Rajesh, Ananya Mariam; Hu, Krystal; Rajesh, Ananya Mariam; Hu, Krystal. AI startup Adept raises $350 mln in fresh funding. Reuters. March 16, 2023 [2024-01-04]. (原始内容存档于2023-05-20) –通过www.reuters.com. 
  14. ^ Tong, Anna; Hu, Krystal; Tong, Anna; Hu, Krystal. Top ex-Google AI researchers raise funding from Thrive Capital. Reuters. 2023-05-04 [2023-07-11]. (原始内容存档于2023-09-03) (英语). 
  15. ^ USC Alumni Paved Path for ChatGPT. USC Viterbi | School of Engineering. [2024-01-04]. (原始内容存档于2023-09-23). 
  16. ^ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. May 24, 2019. arXiv:1810.04805  [cs.CL].