大模型训练不是堆算力就能解决的问题。Amazon AGI 资深经理查晟从一线实践拆解实验设计、数据、基础设施、Evaluation 与团队协作，并解释为什么追求 information gain 的团队反而要容许高失败率。
适合大模型训练、机器学习基础设施和 AI 研究从业者，也适合需要判断行业能力边界的人，帮助你区分模型研发中的科学问题、工程瓶颈与组织约束。
这期你会听到
• 为什么大模型训练必须同时做好数据、模型、分布式系统与 Evaluation？
• 高失败率实验如何带来更高的 information gain？
• 公开 benchmark 为什么可能被数据泄漏和刷分误导？
• cost-to-accuracy 如何衡量不同周期的真实研发进展？
• NVIDIA 的护城河为什么不仅来自硬件，还来自 compiler 与软件栈？
章节
00:00 — 高信息增益实验为何允许失败
01:14 — 查晟与 Amazon AGI 的模型训练实践
02:23 — 大模型训练为何是系统工程
07:47 — 用失败率检验研究方向的信息增益
09:05 — 模型、数据、基础设施如何协同交付
15:15 — 数据质量、SEO 垃圾与合成数据边界
21:04 — Evaluation 为何关键又容易失真
29:57 — 用 cost-to-accuracy 衡量研发进展
36:01 — 稀缺人才与 NVIDIA 的软件护城河
39:26 — 模型自主学习可能带来的下一步突破
45:33 — AI 对职业与经济关系的冲击
53:33 — 回到科学精神与完整训练系统
本期嘉宾
查晟，Amazon AGI 资深经理，参与亚马逊第一代大模型研发及 Frontier 模型训练，并曾与 Alex Smola、李沐共事。
相关内容
查晟：大模型训练的真相、NVIDIA 的护城河、以及为什么大厂做不好 AI：
我是孙煜征，大家叫我立正，康奈尔经济学博士、《真本事》作者、超线性学院创始人。在这里，和我一起把AI、工作与人生中的重要问题想明白。
了解我、阅读文章与查找往期节目
问问立正｜把问题想明白
听完还有问题，或想把一个观点用到自己的处境里？试试我做的「问问立正」：AI会从我的公开文章、视频和《真本事》中寻找相关内容，整理回答，并附上出处。每天可免费提问3次。
不怕AI天天变，就来超线性学院
学点真本事，做点真东西。超线性学院是我创办的免费AI社区，两万多人在这里分享真实项目，你也可以带着问题来讨论。App Store搜「超线性学院」也能加入。
提交正在设计的模型实验，交代假设、评估方式与失败信号，请大家寻找信息增益更高的改法。
https://www.superlinear.academy/
AI Builders｜系统学懂AI，真正用起来
想系统学懂AI、用它做好重要工作，把想法做成作品？了解我和鸭哥一起做的AI Builders课程。