OpenAI 为什么长期押注用 next token 训练通用模型，而没有为短期效果走更多捷径？围绕 ChatGPT 与 LLM 的技术路线，本期从 reinforcement learning、知识与任务对齐一路讨论到垂类模型和智能客服的生存空间。
适合正在选择模型路线、设计 AI 产品或评估垂类模型的技术与产品从业者，帮助区分模型能力、知识注入和任务对齐。
这期你会听到
• 为什么 next token 这种自监督任务可能学到可迁移的语言表示？
• OpenAI 坚持通用自回归路线，需要跨过怎样的短期效果劣势？
• ChatGPT 的短期高估与长期低估，分别会让产品判断偏向哪里？
• reinforcement learning、in-context learning 与模型参数变化应如何区分？
• 当通用模型开放更多定制能力后，垂类模型和智能客服还应保留什么优势？
本期嘉宾
卢毅在一家智能客服创业公司负责机器学习，曾在苹果参与 Siri 的机器学习研究；本期结合模型研究与产品实践讨论大语言模型。
相关内容
我是孙煜征，大家叫我立正，康奈尔经济学博士、《真本事》作者、超线性学院创始人。在这里，和我一起把AI、工作与人生中的重要问题想明白。
了解我、阅读文章与查找往期节目
问问立正｜把问题想明白
听完还有问题，或想把一个观点用到自己的处境里？试试我做的「问问立正」：AI会从我的公开文章、视频和《真本事》中寻找相关内容，整理回答，并附上出处。每天可免费提问3次。
不怕AI天天变，就来超线性学院
学点真本事，做点真东西。超线性学院是我创办的免费AI社区，两万多人在这里分享真实项目，你也可以带着问题来讨论。App Store搜「超线性学院」也能加入。
带上一个准备接入大语言模型的具体任务，说明它缺的是知识、格式对齐还是连续决策能力。
https://www.superlinear.academy/
AI Builders｜系统学懂AI，真正用起来
想系统学懂AI、用它做好重要工作，把想法做成作品？了解我和鸭哥一起做的AI Builders课程。