您现在的位置是： > 区块资讯区块资讯

GPT总设计师展望：大型语言模型的未来方向

zhoucl 2025-01-10 13:40:50 区块资讯已有人查阅

导读编译：OneFlow‌

来源 | Stanford eCorner

编译：OneFlow

翻译 | 杨婷、宛子琳、贾川

图片

回头来看，ChatGPT的横空出世验证了Ilya Sutskever对AI发展的预想。在OpenAI成立初期，强化学习专家Pieter Abbeel曾与Ilya共事。Ilya总是走在AI思考的前沿，并在恰当的时间更换工作环境，推动领域内最具开创性的工作。

Ilya出生于俄罗斯，在五岁时移居以色列，本科时转学到多伦多大学，攻读数学学士学位并获得计算机科学博士学位，师从深度学习“教父”Geoffrey Hinton。2012年，他与Alex Krizhevsky共同提出了AlexNet，开启了新一轮深度学习革命。随后，Ilya加入DNN-research，并在2013年被Google收购后入职。2015年，Ilya离开Google，与马斯克等人创立了OpenAI，至今担任公司首席科学家。

从AlexNet到AlphaGo、GPT、CLIP、DALL-E和Codex，这些开山之作都有他的贡献。ChatGPT的发布使他成为全球瞩目的科学家，他是GPT系列模型的奠基人和总设计师。

以ChatGPT为代表的大型语言模型在全球范围内产生了巨大影响，被视为科技领域的革命性进展。然而，当前的大型语言模型并非AI进步的全部。Ilya比喻说，如果把AI比作身体，还需要肌肉、骨骼和神经系统，拥有其中一个部件虽好，但真正的进展需要集齐所有部件。

AI将继续发展。近期，Ilya在与斯坦福大学讲师Ravi Belani的对话中分享了关于大型语言模型、深度学习及OpenAI未来发展的见解。他认为，未来可能会有一小部分重大突破和许多细微改进，融入庞大复杂的工程体系。

大型语言模型与人类智能

Ravi Belani： 大型语言模型是生成式AI的关键技术，OpenAI处于这一技术的最前沿。有哪些是你未曾预料到的？

Ilya Sutskever： 大型语言模型的工作原理简单而迷人。人脑由大量神经元组成，是世界上智能程度最高的系统。几十年来，研究人员试图弄清生物神经元的工作原理。上世纪四十年代，深度学习研究人员大胆假设人工神经网络中的神经元与生物神经元相似。我们在此基础上进行研究，人工神经元更简单且可以进行数学分析。

早期，深度学习先驱们取得了反向传播算法的重要突破，提供了实现神经网络并在计算机中训练的方法。了解学习过程及其运行条件有助于进一步进展。大多数深度学习进展都是通过构建神经网络并用数据训练它们完成任务。

大型语言模型的理念是：训练一个大型神经网络，根据前面的文本预测下一个单词。如果这个神经网络能准确预测下一个单词，其运转方式可能类似于人类交谈时的神经元活动。因此，它可以理解对话并缩小生成对话的可能性范围。

Ravi Belani： 机器能否达到人类学习能力的十分之一？

Ilya Sutskever： 直接对比人工神经网络和人类很困难。人类可以从较少的数据中学习很多知识，而大型语言模型则需要更多数据。随着训练的深入，神经网络会变得更好，学习速度更快。

Ravi Belani： 机器的学习和适应速度是否会超过人类？

Ilya Sutskever： 会的。我们会取得进展，但距离奇点还有很长的路要走。