阿西什·瓦斯瓦尼
阿西什·瓦斯瓦尼(英语:Ashish Vaswani)是一名从事深度学习的计算机科学家[1],因其在人工智慧和自然语言处理(NLP)领域的重大贡献而知名。他是开创性论文《Attention Is All You Need》的合著者之一[2],该论文介绍了Transformer模型,这是一种使用自注意力机制的新型架构,自此成为NLP领域许多最先进模型的基础。Transformer架构是语言模型的核心,为ChatGPT等应用提供了动力[3][4][5]。他是Adept人工智慧实验室的共同创办人[6][7],也曾是Google大脑的研究科学家[8][9]。
职业生涯
2002年,瓦斯瓦尼完成贝拉理工学院梅斯拉分校电脑科学工程学的学业。2004年,他前往美国南加州大学继续深造[10],并获得博士学位[11]。他曾在Google担任研究员[12],是Google大脑团队的一员。 他曾是Adept AI Labs的联合创始人之一,但后来离开该公司[13][14]。
知名作品
瓦斯瓦尼最知名的作品是2017年发表的论文《Attention Is All You Need》[15]。论文介绍了Transformer模型,该模型在序列到序列任务中避免使用递归,而完全依赖自注意力机制。该模型对随后几个最先进的NLP模型(包括BERT[16]、GPT-2和GPT-3)的开发起到重要作用。
参考资料
- ^ Ashish Vaswani. scholar.google.com. [2023-07-11]. (原始内容存档于2023-12-22).
- ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention Is All You Need. December 5, 2017. arXiv:1706.03762 [cs.CL].
- ^ Inside the brain of ChatGPT. stackbuilders.com. [2023-07-12]. (原始内容存档于2023-12-08) (英语).
- ^ Understanding ChatGPT as explained by ChatGPT. Advancing Analytics. 2023-01-18 [2023-07-12]. (原始内容存档于2023-07-12) (美国英语).
- ^ Seetharaman, Deepa; Jin, Berber. ChatGPT Fever Has Investors Pouring Billions Into AI Startups, No Business Plan Required. Wall Street Journal. 2023-05-08 [2023-07-12]. ISSN 0099-9660. (原始内容存档于2023-11-06) (美国英语).
- ^ Introducing Adept. [2024-01-04]. (原始内容存档于2024-02-23).
- ^ Top ex-Google AI researchers raise $8 million in funding from Thrive Capital. The Economic Times. May 4, 2023 [2024-01-04]. (原始内容存档于2023-11-03).
- ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention is All You Need. May 21, 2017. arXiv:1706.03762 [cs.CL].
- ^ Shead, Sam. A.I. gurus are leaving Big Tech to work on buzzy new start-ups. CNBC. 2022-06-10 [2023-07-12]. (原始内容存档于2024-02-29) (英语).
- ^ Team, OfficeChai. The Indian Researchers Whose Work Led To The Creation Of ChatGPT. OfficeChai. February 4, 2023 [2024-01-04]. (原始内容存档于2023-11-29).
- ^ Ashish Vaswani's webpage at ISI. www.isi.edu. [2024-01-04]. (原始内容存档于2023-10-14).
- ^ Transformer: A Novel Neural Network Architecture for Language Understanding. ai.googleblog.com. August 31, 2017 [2024-01-04]. (原始内容存档于2021-10-27).
- ^ Rajesh, Ananya Mariam; Hu, Krystal; Rajesh, Ananya Mariam; Hu, Krystal. AI startup Adept raises $350 mln in fresh funding. Reuters. March 16, 2023 [2024-01-04]. (原始内容存档于2023-05-20) –通过www.reuters.com.
- ^ Tong, Anna; Hu, Krystal; Tong, Anna; Hu, Krystal. Top ex-Google AI researchers raise funding from Thrive Capital. Reuters. 2023-05-04 [2023-07-11]. (原始内容存档于2023-09-03) (英语).
- ^ USC Alumni Paved Path for ChatGPT. USC Viterbi | School of Engineering. [2024-01-04]. (原始内容存档于2023-09-23).
- ^ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. May 24, 2019. arXiv:1810.04805 [cs.CL].