英伟达执行长黄仁勋日前受邀出席斯坦福大学课程 CS153:尖端系统,与学生对谈运算产业的未来走向。 他在演讲中抛出一个核心论点:外界普遍把 AI 视为电脑里的一项新应用,例如辨识影像、生成文字、协助写程序,但这样的理解已经过于狭隘。
根据黄仁勋,真正发生的变化,是从芯片、网络、储存设备到数据中心与软件开发模式,整个运算体系都正围绕 AI 重新打造。 他将此称为IBM System/360问世以来,运算产业首次真正意义上的「重新发明」。
黄仁勋指出,过去数十年的计算机运作逻辑,本质上是程序员写好代码、编译器转成二进制文件、处理器按固定指令执行,即便互联网、云端运算与行动装置陆续问世,也未曾真正撼动这套底层逻辑。
然而,神经网络的出现打破了这个模式:机器不再单纯执行人类写死的规则,而是从数据中学习结构,依当下情境实时生成答案、影像、动作甚至代码。
黄仁勋认为,「生成式」三个字不该只被理解为生成内容。 模型同时也在生成中间思考过程、工具呼叫指令、任务规划与行动序列,并能持续观察环境、调用其他软件、检视执行结果。
换句话说,运算正从「一次性响应需求」转向「持续不断工作」。
以自驾车为例,车辆无法从数据库里调出一段预录好的转向动作,必须实时判读道路、行人与周遭状况并做出决策,这也是黄仁勋认为未来几乎所有能移动的机器都将逐步具备「机器人」特性的原因。
摩尔定律放缓后,系统级协同设计成为提升运算效能的关键
随着运算模式转向 AI,硬件发展已无法单靠延续传统芯片架构来提升效能。 黄仁勋多次指出,未来的竞争核心在于「协同设计」,也就是让算法、AI 模型、编译器、芯片、互连技术、网络、储存设备以及数据中心等各个环节,围绕相同的工作负载进行整体优化。
这项理念其实可追溯至早期RISC架构的设计哲学,当时便强调编译器与处理器必须相互配合,而非各自独立运作。
进入 AI 时代后,协同设计的范围进一步扩大,不再局限于单一芯片,而是涵盖 CPU、GPU、交换芯片、高速互连、网络与储存系统,打造完整的 AI 运算平台。
背后原因在于,无论是图形渲染、分子动力学、量子化学、流体模拟,或是深度学习训练,都属于高度平行化且运算量庞大的工作,仅依靠通用处理器已难以兼顾效率与扩充性。
随着摩尔定律带来的效能提升逐渐放缓,产业开始透过系统架构创新,重新设计平行运算、数据流与通讯方式,以持续推升整体运算能力。
黄仁勋表示,透过跨软硬件、跨系统层级的整合优化,英伟达在过去十年间已让部分AI工作负载的运算能力提升约100万倍。
不过,这项数据反映的是整体系统效能的进步,而非单一 GPU 性能的大幅跃升。 也因此,在后摩尔定律时代,市场竞争的焦点已从「哪颗芯片速度最快」,逐渐转向「哪一套完整运算系统能以最高效率完成实际 AI 工作负载」。
别只盯着MFU,更重要的是系统真正产出了多少AI价值
课堂讨论中,有学生提到大型 AI 丛集常用的指标模型浮点运算利用率(MFU,Model FLOPs Utilization)。
一般认为,MFU越高代表GPU资源利用越充分,昂贵的运算设备没有被闲置。 然而,黄仁勋认为,若过度依赖这项指标,反而可能对系统效能产生误判。
他指出,大型AI运算平台的效能并非只取决于GPU算力,还同时受到显示内存带宽、内存容量、网路互连以及储存系统等多项因素影响。 任何一个环节都可能成为瓶颈,因此系统设计通常会在部分资源上预留余裕,以避免关键流程因单一瓶颈而拖慢整体运算。
换言之,即使部分 GPU 在某些时刻没有满载运作,也不代表系统效率低落。 若一味追求更高的MFU、刻意压缩资源余量,反而可能导致瓶颈放大,使整体任务耗时更长。
这种情况在 AI 推理阶段尤其明显。 大型语言模型每生成一个 Token,都必须持续读取模型权重与上下文信息,因此真正限制推理速度的,往往不是 GPU 的峰值浮点运算能力,而是多颗芯片共同提供的内存带宽。
也因此,一套MFU并不特别高的系统,仍可能凭借更高的带宽效率与更低的能耗,在相同时间内完成更多推理工作。
黄仁勋因此主张,评估 AI 基础设施时,不应只关注系统拥有多少 FLOPS,而应衡量它在特定能耗下能产生多少有价值的 AI 成果。
即使以「每瓦可生成的 Token 数」作为指标仍无法完全反映不同 Token 的价值差异,但至少比单纯追求硬件利用率,更能贴近实际业务效益。
对 AI 系统而言,真正重要的不是设备是否满载,而是能否以更快、更有效率的方式完成目标工作。
从 Hopper 到 Feynman:英伟达每一代架构都瞄准下一波 AI 运算需求
黄仁勋表示,英伟达每一代GPU架构的设计理念,都是提前因应下一阶段的AI运算需求,而非只解决当前瓶颈。 Hopper 主要锁定大型 AI 模型预训练,在市场仍未出现数十亿美元级 AI 超级计算机前,就已开始布局相关系统。
随着 AI 产业重心逐渐从训练转向推理,Grace Blackwell NVLink 72 则透过 72 颗 GPU 组成机架级系统,利用高速互连提升内存带宽,以加速大型语言模型推理与 Token 生成。 黄仁勋指出,相较前一代架构,其相关工作负载效能提升约50倍,远高于摩尔定律可带来的增幅。
下一代 Vera Rubin 则瞄准 AI 代理应用。 由于代理需要长期记忆、工作记忆及大量工具调用,因此除了GPU外,CPU、储存与高速互连也必须同步优化,以降低等待时间、提升整体效率。
更长远来看,代号Feynman的架构将支持由多个AI代理、子代理及各类工具组成的代理群。 黄仁勋强调,英伟达的产品蓝图并非单纯追求硬件升级,而是先预测下一代AI软件的运作模式,再据此打造对应的运算平台。
开放模型的价值,不只是打造聊天机器人
黄仁勋认为,开放模型(Open Model)的意义不仅是发展聊天机器人,更是让不同语言、产业与研究领域都能拥有可修改、可微调的 AI 基础模型。 由于许多利基市场规模有限,商业闭源模型未必会投入资源,因此开放模型能加速各领域的 AI 创新。
他指出,未来AI也将超越自然语言,延伸至生物医学、化学、气候科学、自动驾驶及机器人等领域,这些应用都需要专属的模型架构与训练方式,而非直接套用大型语言模型。
为此,英伟达已推出 Nemotron、BioNeMo、Alpamayo、GR00T 及气候模型等多项基础模型,协助建立各领域的 AI 生态。
黄仁勋也强调,未来 AI 将结合语言推理能力与世界模型(World Model),让系统不仅能辨识物体,更能理解环境、推理因果并自主决策,例如提升自动驾驶的安全性。
此外,他认为开放模型也有助于安全研究,让更多研究人员能检验模型行为、发现漏洞,并建立更有效的AI防御机制,而非让攻防竞赛局限于少数封闭模型之间。
AI 应融入所有学科,但基础能力依然不可取代
谈到 AI 教育,黄仁勋认为,AI 不应被视为一门独立课程,而应成为所有学科的学习工具,协助学生阅读论文、查找资料、撰写程序、进行实验与解决问题。
不过,他强调,AI 越能快速提供答案,人类越需要扎实的基本功,包括数学、第一性原理、计算机架构与工程思维,才能判断 AI 输出的正确性,理解系统为何成功或失败。
黄仁勋也透露,英伟达内部已广泛使用Anthropic、OpenAI等公司的AI模型,几乎所有工程师都在AI代理的协助下工作。
他认为,未来教育将与职场更加接轨,AI的角色不是取代人的思考,而是减少重复性工作,让人们将更多时间投入分析、判断与创新。
AI 工厂时代,需要重新思考算力基础设施
黄仁勋指出,AI时代的挑战不只是芯片不足,更在于现有的预算与资源管理模式,难以支撑大规模集中运算。 传统由各院系各自建置小型算力资源的方式,已无法满足 AI 训练与推理对大型运算平台的需求。
他认为,AI 运算具有规模经济,研究团队虽然平时不一定需要大量算力,但在关键阶段必须能快速调度庞大资源,因此更适合建立校园级AI超级计算机或共享云端算力平台。
黄仁勋更建议,像斯坦福大学等研究机构可投入大型预算建置公共AI算力基础设施,让所有研究人员都能共享资源。 他强调,AI 时代的核心课题已不只是采购更多硬件,而是重新设计预算分配、治理模式与资源共享机制。
能源将成 AI 时代的核心限制,而非次要因素
黄仁勋指出,随着 AI 从按需运算走向全天候运作的生成式 AI 与代理,未来运算所需的能源将大幅增加,能源供应将成为 AI 发展的重要限制,而非边缘议题。
他表示,提升能源效率是首要任务,透过模型、芯片、互连与散热的协同设计,在相同耗电量下完成更多AI运算。 以 Blackwell 平台为例,其每瓦可生成的 Token 数较前代提升约 50 倍,展现系统架构创新对能效的提升。
另一方面,黄仁勋也认为,AI带来的庞大电力需求将加速太阳能、核能等能源发展,以及电网升级投资。 未来AI的发展速度,不仅取决于芯片效能,更将受到能源效率、发电能力与电网建设等基础设施共同影响。
黄仁勋:AI风险应理性看待,而非过度神化
谈到 AI 风险,黄仁勋认为,不应将 GPU 与核武等大规模杀伤性武器相提并论,也不赞同将 AI 发展描述为难以预测的「奇点」事件。
他指出,GPU早已广泛应用于游戏、医疗、科学研究、物流与工业等领域,本质上是一种通用运算基础设施,若政策建立在错误模拟之上,恐导致偏离现实的监管方向。
不过,黄仁勋并未否认 AI 带来的风险,而是主张透过开放研究、工程设计、安全机制及市场竞争,逐步降低潜在威胁。
他强调,AI发展应秉持理性乐观的态度,既不过度神化技术,也不因担忧风险而停止创新,唯有维持开放且具竞争力的AI生态,才能让更多人共享AI带来的成果。
从失败中建立战略:观察现象,再回归第一性原理
黄仁勋在访谈最后回顾英伟达过去的两次重大挫折。 他表示,早期图形产品在曲面处理、Z-buffer、纹理映射等关键技术选择上曾犯下错误,但这些失败让团队学会如何判断市场、控制资源并调整方向,也成为日后建立战略能力的重要经验。
另一个案例是手机芯片业务。 英伟达曾投入大量资源布局移动市场,规模一度达到10亿美元,但在3G转向4G时,由于缺乏基频技术优势,最终退出手机芯片市场。 黄仁勋坦言,当时应更早看清手机产业的核心价值并非单纯来自图形处理能力。
不过,这段经历累积的低功耗与高效率技术,后来转化为机器人运算平台的重要基础,延续至今日的 Thor 架构。
黄仁勋强调,成功不能替过去错误的判断辩护,真正重要的是从失败中修正认知。
他认为,制定战略的关键不是精准预测未来,而是先观察现象,再回到第一性原理分析趋势,判断哪些事情必然发生、哪些可能发生,并在前进过程中保留调整空间。 真正有效的战略,是在不确定环境中持续更新判断,让每一步行动都累积下一阶段的选择权。












