10月4日,英伟达首席执行官黄仁勋做客访谈节目Bg2 Pod,与主持人Brad Gerstne和Clark Tang进行了一场广泛的对话。
他们主要讨论了如何将智能扩展到AGI、英伟达的竞争优势、推理与训练的重要性、AI领域未来的市场动态、AI对各个行业的影响、Elon的孟菲斯超级集群与X.ai、OpenAI等话题。
黄仁勋强调了AI技术的迅速演变,尤其是通向通用人工智能(AGI)道路上的突破。他表示,AGI助理即将以某种形式出现,并且会随着时间的推移变得更加完善。
黄仁勋还分享了英伟达在计算革命中的领导地位,指出通过降低计算成本和创新硬件架构,英伟达在推动机器学习和AI应用中占据了显著优势。他特别提到英伟达的“护城河”,即其十年积累的软硬件生态系统,使得竞争者很难通过单一的芯片改进超越。
此外,黄仁勋赞扬了xAI和马斯克团队在短短19天内完成十万个GPU的孟菲斯超级集群建设,称这是“前所未有”的成就。这一集群无疑是全球最快的超级计算机之一,将在AI推理和训练任务中发挥重要作用。
谈及AI对生产力的影响,黄仁勋乐观地表示,AI将极大提升企业的效率,带来更多的增长机会,并不会导致大规模失业。同时,他也呼吁业界加强对AI安全性的关注,确保技术的开发和使用有益于社会。
全文要点总结如下:
- (AGI助理)很快就会以某种形式出现……一开始它会非常有用,但并不完美。然后随着时间的推移,它会变得越来越完美。
- 我们在10年内将计算的边际成本降低了100000倍。我们整个堆栈都在增长,整个堆栈都在创新。
- 人们认为设计出更好的芯片的原因在于它有更多的触发器、更多的位和比特……但机器学习不仅仅是软件,它关乎整个数据管道。
- 机器学习的飞轮才是最重要的。你必须考虑如何让这个飞轮更快。
- 仅仅拥有强大的GPU并不能保证一家公司在AI领域取得成功。
- 马斯克对大型系统的工程和建设以及资源调配的理解是独一无二的… 十万个GPU作为一个集群… 19天内完成。
- AI不会改变每一项工作,但会对人们的工作方式产生巨大影响。公司使用AI提高生产力时,通常表现为更好的收益或增长。
AGI和AI助理的演变
Brad Gerstner:
今年的主题是将智能扩展到AGI。两年前我们做这件事的时候,我们是在AI时代做的,那是在ChatGPT的两个月前,考虑到所有这些变化,这真是令人难以置信。所以我觉得我们可以用一个思想实验和一个预测来开始。
如果我把AGI通俗地想象成我口袋里的私人助理,如果我认为AGI就是那个口语助理,我已经习惯了。它知道我的一切。它对我有完美的记忆,可以和我交流。他们可以帮我预订酒店,或者帮我预约医生。看看当今世界的变化速度,你认为我们什么时候才能拥有个人助理?
黄仁勋:
很快就会以某种形式出现。而且随着时间的推移,这个助理会越来越好。这就是我们所知道的美妙技术。所以我认为一开始它会非常有用,但并不完美。然后随着时间的推移,它会变得越来越完美。就像所有的技术一样。
Brad Gerstner:
当我们看看变化的速度时,我认为马斯克说过,真正重要的唯一事情就是变化的速度。我们确实感觉到变化的速度已经急剧加快,这是我们在这些问题上见过的最快变化速度,因为我们已经在AI领域摸爬滚打了十年,甚至更长。这是你职业生涯中见过的最快变化速度吗?
黄仁勋:
这是因为我们重新发明了计算。很多事情之所以发生,是因为我们在10年内将计算的边际成本降低了100000倍。摩尔定律应该是100倍左右。我们通过多种方式实现了这一点。首先,我们引入了加速计算,将CPU上效率较低的工作放在GPU上。我们通过发明新的数值精度来实现这一点。我们通过新的架构来实现这一点,发明了张量核心,以系统的方式构建MV Link,以及非常非常快的内存、以及使用MV Link进行扩展并在整个堆栈上工作。基本上,我描述的关于英伟达如何做事的一切都导致了超摩尔定律的创新速度。
现在真正让人惊奇的是,从此之后,我们从人工编程转向了机器学习。机器学习的神奇之处在于,机器学习可以学得非常快。事实证明如此。因此,当我们重新制定分配计算的方式时,我们做了很多,各种并行性。张量并行性,各种管道并行性。我们擅长在此基础上发明新算法和新训练方法,所有这些技术,所有这些发明都是相互叠加的结果。
回顾过去,如果你看看摩尔定律是如何运作的,软件是静态的。它是预编译的,就像放入商店的收缩筏一样。它是静态的,下面的硬件以摩尔定律的速度增长。现在,我们整个堆栈都在增长,整个堆栈都在创新。所以我认为,现在我们突然看到了扩展。
这当然是非凡的。但我们过去谈论的是预训练模型和在那个层面上的扩展,以及我们如何将模型大小翻倍,因此相应地翻倍,数据大小也翻倍。结果,所需的计算能力每年增加四倍。这是一件大事。但现在我们看到了后训练的扩展,我们看到了推理的扩展。所以人们过去认为预训练很难,推理很容易。现在一切都很难。这很有道理,但认为人类的所有思维都是一次性的想法有点荒谬。所以,必须有一个快速思考、慢速思考、推理、反思、迭代和模拟等概念。现在它正在出现。
英伟达的竞争护城河
Clark Tang:
我认为,关于英伟达最容易被误解的事情之一就是真正的英伟达模式有多深。我认为有一种观念,如果有人发明了一种更好的芯片,他们就赢了。但事实是,你花了十年时间构建从GPU到CPU再到网络的完整堆栈,尤其是支持应用程序的软件和库。在英伟达上运行。所以我认为你谈到了这一点,但当你想到英伟达今天的护城河时,,您认为今天的视频模式比三四年前大还是小?
黄仁勋:
好吧,我很感谢你认识到计算是如何变化的。事实上,人们认为(而且很多人现在仍然这样认为)设计出更好的芯片的原因在于它有更多的触发器、更多的位和比特。您明白我的意思吗?您会看到他们的主题演讲幻灯片。它有所有这些触发器、条形图和诸如此类的东西。这些都很好。我的意思是,看,马力确实很重要。是的。所以这些事情从根本上来说很重要。
然而,不幸的是,这都是想法。这都是在软件是运行在Windows上的某个应用程序并且软件是静态的意义上的想法,对吗?这意味着改进系统的最佳方法就是制造越来越快的船。但我们意识到机器学习不是人类编程。机器学习不仅仅是软件,这关乎整个数据管道。事实上,机器学习的飞轮才是最重要的。那么你如何看待我启用这个飞轮?一方面,让数据科学家和研究人员在这个飞轮中高效工作,而这个飞轮从一开始就开始了。很多人甚至没有意识到需要AI来管理数据,来教导AI。而AI本身就相当复杂。
Brad Gerstner:
AI本身在改进吗?它也在加速吗?再说一次,当我们考虑竞争优势时,是的,没错。这是所有这些的组合。
黄仁勋:
正是如此,正是因为有了更聪明的AI来管理数据,才会导致这种情况。我们现在甚至有了合成数据生成和各种不同的数据管理方式,向其呈现数据。所以在你接受培训之前,你就已经涉及了大量的数据处理。所以人们会想,哦,Pytorch,这是世界的开始,也是世界的终结。这非常重要。
但别忘了,在Pytorch之前和之后,飞轮的意义在于你必须思考的方式,我该如何思考整个飞轮,如何设计一个计算系统,一个计算架构,帮助你利用这个飞轮,让它尽可能高效。这不是一个应用程序训练的大小。这说得通吗?这只是一步。好吧。飞轮上的每一步都很难。所以你应该做的第一件事,不是思考如何让Excel更快,如何让doom更快,那是过去的事情,不是吗?现在你必须考虑如何让这个飞轮更快?这个飞轮有很多不同的步骤,机器学习并不容易,你们都知道。
OpenAI 或 X 或 Gemini 团队所做的事情都不容易,他们深思熟虑地思考着我们。我的意思是,他们做的事情并不容易。所以我们决定,你看,这才是你应该考虑的。这是整个过程,你想加速其中的每一部分。你要尊重多尔斯定律,多尔斯定律表明,如果这是30%的时间,而我将其加速了三倍,那么我并没有真正加速整个过程。这有道理吗?你真的想创建一个系统来加速每一步,因为只有做整个事情,你才能真正实质性地改善周期时间和飞轮,也就是学习率,最终才是导致指数级增长的原因。
所以,我想说的是,我们对公司真正做的事情的看法会体现在产品上。注意,我一直在谈论这个飞轮,整个网站。是的,没错。我们加速了一切。
现在,主要关注点是视频。很多人都专注于物理AI和视频处理。想象一下前端。每秒有TB的数据进入系统。举个例子,一个管道会接收所有这些数据。首先要准备好训练。是的,这样整个过程就可以加速。
Clark Tang:
今天人们只考虑文本模型。是的,但未来是,这个视频模型,使用一些文本模型,比如o1,在我们到达那里之前真正处理大量数据。
黄仁勋:
是的。所以语言模型会涉及到一切。但我们,这个行业花费了巨大的技术和精力来训练语言模型,训练这些大型语言模型。现在,我们在每一步都使用大型语言形式。这非常了不起。
Brad Gerstner:
我听到你说的是,在组合系统中,是的,优势会随着时间的推移而增长。所以我听到你说,我们今天的优势比三到四年前更大,因为我们正在改进每个组件。这就是组合,当你想到,例如,作为一个商业案例研究,英特尔,相对于你现在的位置,它拥有主导模式,在堆栈中占据主导地位。也许,再简单归纳一下,将你的竞争优势与他们在其周期高峰期所拥有的竞争优势进行比较。
黄仁勋:
英特尔之所以与众不同,是因为他们可能是第一家在制造工艺工程和制造方面表现出色的公司。制造上面说的就是制造芯片。设计芯片,在x86架构中构建芯片,制造越来越快的x86芯片,这是他们的才华所在,他们将其与制造融合在一起。
我们公司有点不同,我们认识到这一点,事实上,并行处理并不要求每个晶体管都表现出色,串行处理要求每个晶体管都表现出色。并行处理需要大量的晶体管才能更具成本效益。我宁愿晶体管多10倍,速度慢20%。然后晶体管少10倍,速度快20%。这有道理吗?他们想要相反的结果。因此,单线程性能、单线程处理和并行处理非常不同。因此,我们观察到,事实上,我们的世界并不是越走越好。我们想要做得非常好,尽可能好,但我们的世界真的在不断进步。
并行计算、并行处理很难,因为每个算法都需要一种不同的重构方式和重新构建算法的架构。人们没有意识到的是,你可以有3个不同的 CPU。它们都有自己的C编译器。你可以将软件编译到那个轴上。
这在加速计算中是不可能的。提出架构的公司必须提出自己的 Open GL。所以我们革命性地进行了深度学习,因为我们的领域特定库叫做cuDNN(深度神经网络库),一个领域特定库称为光学。我们有一个领域特定库,称为 cuQuantum。
Brad Gerstner:
对于位于下方的行业特定算法,您知道,每个人都关注的 Pytorch 层。就像我经常听到的那样。
黄仁勋:
如果我们不发明它,上面的任何应用程序都无法工作。你们明白我的意思吗?所以是英伟达真正擅长的算法。在底层架构之上的科学之间的传播,这就是我们真正擅长的。
英伟达正在构建一个完整的AI计算平台,包括硬件、软件和生态系统
Clark Tang:
现在所有的注意力都集中在推理上。但我记得,两年前,我和Brad共进晚餐时问过你一个问题,你认为你的护城河在推理方面会像在训练方面一样强大吗?
黄仁勋:
我不确定我是否说过它会更强。
Clark Tang:
你刚才提到了很多这些元素,两者之间的可组合性,或者,我们不知道整体组合。对于客户来说,能够在两者之间保持灵活性非常重要。但是,既然我们现在已经处于推理时代,你能不能谈谈?
黄仁勋:
推理训练就是在那种规模上进行推理。我的意思是,你是对的。所以如果你训练得当,那么很有可能你会推理得当,如果你在没有任何考虑的情况下在这个架构上构建它,它将在这个架构上运行。好吧,你仍然可以去优化它以适应其他架构,但至少,因为它已经在英伟达上构建了架构,它将在英伟达上运行。
现在,另一个方面当然只是一种资本投资方面,也就是当你训练新模型时,你希望用你最好的新设备进行训练。这会留下你昨天使用的设备,而这些设备非常适合推理。所以在新的基础设施背后有一系列免费的设备可以兼容。因此,我们非常严格地确保我们始终兼容,这样我们留下的一切都将继续保持卓越。
现在,我们还投入了大量精力不断重新发明新算法,以便当时间到来时,Hopper架构比他们购买时好两倍、三倍、四倍,这样,这个基础设施就会继续真正有效。因此,我们所做的所有工作,改进新算法、新框架。请注意,它有助于我们拥有的每一个安装基础。Hopper更适合它,Ampere更适合它,甚至Volta也更适合它。
我想Sam Altman刚刚告诉我,他们最近刚刚停用了OpenAI的Volta基础设施。所以我认为,我们留下了这条安装基础的痕迹,就像所有计算安装基础都很重要一样。英伟达涉足每一个云端,包括本地和边缘。
VILA的视觉语言模型在云端创建,无需修改,在机器人边缘也能完美运行。它们都具有良好的兼容性。因此,我认为架构兼容性对于大型设备非常重要,对于 iPhone 和其他设备也是如此。我认为安装基础对于推理非常重要。
黄仁勋:
但真正让我受益匪浅的是,我们正在努力在新的架构中训练这些大型语言模型。我们能够思考,在某一天时机成熟时,如何创建在推理方面表现出色的架构。因此,我们一直在思考推理模型的迭代模型,以及如何为此创建非常互动的推理体验,对吧,您的个人代理。您不想说完话后就离开并思考一段时间。您想很快与您互动。那么我们该如何创建这样的东西呢?
MVLink这样我们就可以采用这些非常适合训练的系统。但是当你完成它时,推理性能会非常出色。所以你想优化这个到第一个Token的时间。而到第一个Token的时间实际上非常难做到,因为到第一个Token的时间需要大量的带宽。但如果你的上下文也很丰富,那么你需要大量FLOPS。因此,你需要无限量的带宽,同时无限量的FLOPS才能实现几毫秒的响应时间。所以这个架构真的很难实现。我们为此发明了伟大的Blackwell MVLink。。
Brad Gerstner:
本周早些时候和 Andy Jassy(亚马逊总裁兼CEO)一起吃饭,Andy说,我们有 Tranium、Inferentia 即将到来。我认为大多数人再次将这些视为英伟达的问题。但接下来,他说英伟达是我们的重要合作伙伴,并且将继续是我们的重要合作伙伴。就我所见,未来世界将依靠英伟达。
所以当你想到正在构建的定制ASIC时,它们将用于目标应用。也许是Meta的推理加速器,也许是亚马逊的训练,或者谷歌的TPU。然后你想想你今天面临的供应短缺,这些因素会改变这种动态吗?或者它们会补充他们从你那里购买的系统?
黄仁勋:
我们只是在做不同的事情。是的,我们试图完成不同的事情。现在英伟达正在尝试为这个新世界、这个机器学习世界、这个生成式AI世界、这个代理式AI世界构建一个计算平台。我们试图创造,在计算领域,如此深刻的一点是,经过60年的发展,我们重新发明了整个计算堆栈。从编程到机器学习,从CPU到GPU,从软件到AI,应用程序从软件到AI。从软件工具到AI。因此,计算堆栈和技术堆栈的每个方面都发生了变化。
我们想做的是创建一个随处可用的计算平台。这确实是我们所做工作的复杂性,我们所做工作的复杂性在于,如果你仔细想想我们所做的事情,就会发现我们正在构建整个AI基础设施,我们把它看作一台计算机。我之前说过,数据中心现在是计算的单位。对我来说,当我想到计算机时,我考虑的不是芯片。我在考虑这个东西。这是我的思维模型,里面的所有软件、所有编排、所有机器,都是我的使命。这就是我的计算机。
我们每年都试图建造一台新的。是的,这太疯狂了。以前从来没有人这样做过。我们每年都试图建造一台全新的。每年,我们都提供两到三倍的性能。因此,每年,我们都会将成本降低两到三倍。每年,我们都会将能源效率提高两到三倍。因此,我们要求客户不要一次性购买所有东西,每年只买一点,对吗?好的。这样做的原因是,我们希望它们的成本在未来保持平均水平。现在,所有东西在架构上都是兼容的,所以以我们现在的速度单独构建这些东西是非常困难的。
现在,双重困难的部分是,我们接受所有这些,而不是将其作为基础设施或服务出售,我们不同意所有这些。我们将它集成到GCP、AWS、Azure、X 中。所以每个人的集成都不同。我们必须将我们所有的架构库、所有算法和所有框架集成到他们的框架中。我们将我们的安全系统集成到他们的系统中,我们将我们的网络集成到他们的系统中,对吗?然后我们基本上进行10次集成,现在我们每年都这样做。这就是奇迹。
Brad Gerstner:
我们,我的意思是,你每年都试图这样做,这太疯狂了。那么是什么驱使你每年都这样做呢?
黄仁勋:
是的,那就是当你系统地分解它时。你们分解得越多,每个人分解得越多,他们就越惊讶。是的。今天整个电子生态系统如何能够致力于与我们合作,最终构建出一个集成到所有这些不同生态系统中的计算机立方体,并且协调如此无缝。因此,显然我们向后传播的是API、方法、业务流程和设计规则,而向前传播的是方法、架构和API。
Brad Gerstner:
他们本来就是这样的。
黄仁勋:
几十年来,他们一直在努力。是的,而且随着我们的发展也在不断发展。但是,这些 AP 必须整合在一起。
Clark Tang:
有人只需调用 OpenAI API,它就可以工作。就是这样。
黄仁勋:
对。是的,有点疯狂。这是一个整体。这就是我们发明的,这个庞大的计算基础设施,整个星球都在与我们合作。它融入了任何地方。你可以通过戴尔销售它,也可以通过惠普销售它。它托管在云端。它无处不在,无处不在。人们现在在机器人系统中使用它,机器人和人类机器人,它们在自动驾驶汽车中。它们在架构上都是兼容的。相当疯狂。
Brad Gerstner:
这太疯狂了。
黄仁勋:
我不想让你留下我没有回答问题的印象。事实上,我回答了。当我们真正分层基础时,我的意思是思考的方式。我们只是在做一些不同的事情。是的,作为一家公司,我们希望了解情况,我对公司和生态系统周围的一切都非常了解,对吗?
我知道所有人都在做其他事情,他们在做什么。有时这对我们是不利的,有时不是。我非常清楚这一点,但这并没有改变公司的目标。是的,公司的唯一目标是构建一个可以无处不在的平台架构。这就是我们的目标。
我们不会试图从任何人那里夺取任何份额。英伟达是做市商,而不是份额获取者。如果你看看我们公司没有展示的幻灯片,你会发现这家公司没有一天谈论市场份额,内部也没有。我们谈论的都是我们如何创造下一个东西?
我们可以在这个飞轮中解决的下一个问题是什么?我们如何才能更好地为人们服务?我们如何将过去需要大约一年时间的飞轮缩短到大约一个月?是的。那光速是多少?不是吗?
所以我们在考虑所有这些不同的事情,但有一件事我们不会,我们不会,我们对所有事情都了如指掌,但我们确信我们的使命是非常独特的。唯一的问题是这个使命是否必要。这有意义吗?所有公司,所有伟大的公司都应该把这个作为核心。这是关于你在做什么?
当然。唯一的问题是,它有必要吗?它有价值吗?对。它有影响力吗?它对人们有帮助吗?我确信你是一名开发人员,你是一家生成式AI初创公司,你即将决定如何成为一家公司。
你不必做出的一个选择是我支持哪一款 A6?如果你只支持CUDA,你可以去任何地方。你以后总是可以改变主意的。但我们是通往AI世界的入口,不是吗?
一旦你决定加入我们的平台,其他的决定你都可以推迟。你以后可以随时构建自己的基础。我们并不反对。我们不会因此而生气。当我与所有GCP、GCP Azure 合作时,我们会提前几年向他们展示我们的路线图。
他们没有向我们展示他们的基本路线图,而且这从未冒犯过我们。这有道理吗?我们创造,我们处于一个。如果你有一个唯一的目标,你的目标有意义,你的使命对你和其他人来说都是珍贵的,那么你可以透明。请注意,我的路线图在 GTC 上是透明的。我的路线图对我们在 Azure、AWS 和其他公司的朋友来说更深入。我们做任何这些事情都没有问题,即使他们正在构建自己的资产。
Brad Gerstner:
我认为,当人们观察业务时,您最近表示对Blackwell的需求非常疯狂。您说,工作中最困难的部分之一就是在世界缺乏您能够生产和提供的计算能力的情况下,用情感工具对人们说“不”。但批评者说了这些。稍等片刻。他们说这就像2000年的思科一样,我们过度建设光纤。这将是繁荣与萧条的交替。我想到23年初我们吃饭的时候。23年1月的那顿晚餐上,英伟达的预测是,2023年的收入将达到260亿美元。你做到了600亿美元。
黄仁勋:
就让事实真相大白吧。这是世界历史上最大的预测失败。对。我们至少可以承认。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...