E229. ChatGPT的信念与没走的捷径|对LLM的常见理解误区|垂类模型有前途吗?|大语言模型技术深度访谈1⧸3
#229

E229. ChatGPT的信念与没走的捷径|对LLM的常见理解误区|垂类模型有前途吗?|大语言模型技术深度访谈1⧸3

OpenAI 为什么长期押注用 next token 训练通用模型,而没有为短期效果走更多捷径?围绕 ChatGPT 与 LLM 的技术路线,本期从 reinforcement learning、知识与任务对齐一路讨论到垂类模型和智能客服的生存空间。

适合正在选择模型路线、设计 AI 产品或评估垂类模型的技术与产品从业者,帮助区分模型能力、知识注入和任务对齐。

这期你会听到

• 为什么 next token 这种自监督任务可能学到可迁移的语言表示?

• OpenAI 坚持通用自回归路线,需要跨过怎样的短期效果劣势?

• ChatGPT 的短期高估与长期低估,分别会让产品判断偏向哪里?

• reinforcement learning、in-context learning 与模型参数变化应如何区分?

• 当通用模型开放更多定制能力后,垂类模型和智能客服还应保留什么优势?

本期嘉宾

卢毅在一家智能客服创业公司负责机器学习,曾在苹果参与 Siri 的机器学习研究;本期结合模型研究与产品实践讨论大语言模型。

相关内容

观看本期视频版

加入Superlinear Academy免费社区

带上一个准备接入大语言模型的具体任务,说明它缺的是知识、格式对齐还是连续决策能力。

https://www.superlinear.academy/

关于主播与节目

孙煜征(课代表立正),康奈尔大学经济学博士、Superlinear Academy创始人。曾任Amazon经济学家、Meta数据科学家和腾讯IEG副总监,也是OpenAI收购团队早期成员。

《课代表立正》关注AI如何改变工作、职业与商业,以及人在变化中最需要保留的判断力。