全部文章

边课堂 · 边知道

斯坦福 CS329Z:先把 agent harness 写出来

斯坦福 2026 秋季新课 CS329Z:先自己写 agent harness 和评测,再去碰框架。官方公开材料导读,未写成逐讲实录。

模型变成可调用的组件之后,真正决定系统能不能用的,往往是它周围的那一层:工具怎么接、上下文怎么管、失败怎么收、评测怎么做、什么时候不该自动执行。斯坦福 2026 年秋季新课 CS329Z Engineering AI Agents 把这件事拆开,要求学生先自己写一遍,再去碰框架。

总览

CS329Z 由 Diyi Yang、Michael Ryan、John Yang 主讲,助教为 Owen Queen、Anusheh Chaudry、Shreyas Sharma、Houjun Liu。这是 3 学分课,学期为 2026–2027 Autumn,上课时间周一、周三 1:30–2:50 p.m.(太平洋时间),地点 Skilling Auditorium。课程主页是 CS329Z 课程主页。

主页把课程对象写得很明确:从单体语言模型,转向由 LLM、retriever、工具和优化器等多部分交互组成的 compound AI system。学生要学会判断什么问题值得做成 agent、如何拆解、选哪些组件、收集和整理数据、建立评测,并在实际系统里权衡设计取舍。路径是先从零实现 RAG、tool use 和 agent loop,再看 DSPy 这类框架如何把这些模式抽象出来;配套是两份动手作业和贯穿整学期的项目。Michael Ryan 在 2026 年 11 月 10 日(UTC,对应 11 月 11 日凌晨 Asia/Shanghai)的公开线程里提到,首届上课人数超过 100 人,材料正陆续对外公开。

校内录像仍走 Canvas。对外公开从讲次录像开始,由 Stanford Online 的 YouTube 频道按日上线。截至 2026 年 11 月 12 日(Asia/Shanghai)核验:主页已为第 1–3 讲提供 Video 链接;第 1–13、15 讲幻灯片已公开;第 5 讲配套代码、HW1 与 HW2 的 starter 仓库也已公开。第 14 讲对应 11 月 9 日 Andrew Ng 的 fireside chat,幻灯片目录里没有 lecture14.pdf。安全、coding agents、proactive agents 等后续讲次当时尚未挂出讲义。本文依据官方页面、已公开幻灯片和作业讲义整理,没有把录像当成已看过的内容来写。

课程结构

课表仍标注 tentative,按周一、周三推进,中间插入嘉宾课和感恩节停课,期末是项目 Demo Day。可以把已公布的讲次分成几段看。

定位与模型基础(第 1–2 讲)。 第 1 讲幻灯片的学习目标是:熟悉建立在 LLM 之上的 agent loop、关键组件,以及训练和评测上的未解决问题。幻灯片把一个 agent 拆成 LLM core、planning & reasoning、memory、tools 和 environment;并把工程分成 system、data、evals 三层。

第 1 讲幻灯片:agent 的关键组件 一个反复出现的区分是:workflow 和 agent 都是 compound AI system,差别在于谁决定下一步,workflow 由代码固定步骤,agent 由模型决定步骤。

第 1 讲幻灯片:workflow 与 agent 谁决定下一步 后面会讲到的可靠性问题也写得很硬:错误会在多步设置里累积,上下文会增长并漂移,任务成功不等于行为安全,评测本身就是开放问题。第 2 讲面向「要做系统的人」补语言模型内部:解码、attention 与上下文长度、预训练到后训练、inference / test-time scaling、structured I/O 与 constrained decoding,以及 context engineering。先修课里该有的预训练、微调、对齐和 prompting,第 1 讲明确说这门课不再讲。

构件与框架(第 3–6 讲)。 第 3 讲把 RAG 从 indexing、retriever、reranking 走到 agentic RAG 和常见失败模式,并介绍学期项目。第 4 讲进入 tool use:模型为什么需要工具、如何学会调用、从 REST 到 function calling 再到 MCP 的接口,以及 BFCL、ToolBench、τ-bench 等评测。第 5 讲转向工程支柱(data、system、evals),课堂演示 DSPy 和 LangGraph,并浏览 mini-SWE-agent、OpenHands、Pi 等开源 harness,以及 Temporal 这类持久编排。配套仓库 cs329z/lecture5-frameworks 用一个本地日历应用 tinycal 做跟练,README 写明完整跑一遍笔记本大约消耗 1 美分的 OpenRouter 额度。第 6 讲整理设计模式:可组合的 workflow 模式,ReAct、Reflexion、CodeAct、ReWOO 等推理与行动模式,以及 event log、compaction、observation masking、context isolation 等上下文管理,并以 Pi harness 做案例。

记忆与多 agent(第 7–8 讲)。 第 7 讲区分 working / episodic / semantic / procedural 四类记忆,并讨论 skill library、MemGPT 这类分层、反思式整合,以及遗忘、隐私和过度个性化等未解决问题。第 8 讲讨论何时该上 multi-agent、编排与通信(包括 A2A)、协调基础设施,以及这类系统为什么会失败。

优化、数据与评测(第 9–13、15 讲)。 第 9 讲覆盖 context 优化(包括 MIPROv2、OPRO、TextGrad、GEPA 等)和 weight 优化(SFT、PPO、GRPO 等),并讨论何时改 prompt、何时改权重。第 10 讲是嘉宾课:Terminal-Bench 共同作者 Ryan Marten 与 Alex Shaw(Laude Institute)讲终端环境里的真实任务评测,这与 HW2 直接衔接。第 11–12 讲转向 agent 需要什么样的数据、如何筛选和保证质量。第 13 讲讲评测基本功和 benchmark 设计。幻灯片把 benchmark 拆成 task formulation 与 evaluation protocol;task formulation 对应 problem statement(要做什么、交付什么)、environment(在哪里做、初始有什么)和 verification(如何计分)。evaluation protocol 再规定尝试次数、一次 rollout 何时停止、harness 与工具限制,以及分数如何聚合。

第 13 讲幻灯片:task formulation 与 evaluation protocol 11 月 9 日是 Andrew Ng 的 fireside chat(由 Diyi Yang 主持);11 月 11 日的第 15 讲进入 LLM-as-judge 和评测基础设施,包括不同 grader、judge prompt 的偏差、pass@k 与 pass^k,以及 harness 设计。11 月 16 日还有 SWE-bench 共同作者 Carlos Jimenez 与 Alexander Wettig 的嘉宾课,核验当日尚未开讲。

后半段与收尾。 课表上还有 Agent Safety & Guardrails、Coding & Software Agents、Proactive Agents,以及 12 月 9 日 3:30–6:30 p.m. 的 Final Project Demo Day。这几讲在 11 月 12 日核验时还没有公开幻灯片,这里只记录课表,不补写成已讲授内容。

作业、论文视频与项目

成绩里项目占 40%,作业 15%,作业后的口头测验 15%,论文视频 10%,同伴评审 20%。可打 letter grade,也可选 Credit/No Credit。两份作业都是应用题,各跟一次约 10 分钟的 HW-based quiz,用来解释设计取舍;测验为个人、闭卷。

HW1:Building an Agent Harness。 由 Michael Ryan 设计,starter 在 HW1 作业仓库,讲义版本 26.1.0,MIT 许可。不允许使用现成的 agent / LLM 框架,也不得自行加依赖。课程提供的 LM 封装只有一件事:传入消息列表,返回字符串,没有官方 tool-calling,也没有 structured output。学生要在这之上自己规定工具协议、解析模型回复、写出循环。

Part 1 是在邮件语料上写 LLM pipeline(控制流在代码里):单次调用的优先级分类、每日 digest、从零实现 BM25,以及多跳 RAG 问答。Part 2 做成面向虚构公司 Cardinal Energy 员工的助手:工具注册表、tool-call 协议、agent loop,把 Part 1 的能力封成工具,再加上文档检索、终端、上下文 compaction、跨会话 memory、人工确认与转向,以及 auto 模式下的 deny rule 和 prompt injection 防护。数据有两套,彼此无关:一套是 24 份 Cardinal Energy 内部文档(部分政策会被后续通知覆盖);一套是 Enron 语料中 2001 年 6–8 月去重后的 26,278 封真实邮件,并掺入少量合成「needles」,避免答案只靠模型对 Enron 的先验。讲义要求把这些邮件里的真实发送者当专业材料来对待。

测验分两类:默认的 deterministic tests 不调用模型,用 ScriptedLM 回放固定回复,覆盖空回复、格式错误、截断的 tool call、工具抛异常等;live tests 才打真实模型,对照阈值。参考实现写明:除最终模拟用户评测外,全套 live tests 首次未缓存运行约 0.05 美元、约五分钟;20 组模拟用户评测另约 0.18 美元、约三分钟。Michael Ryan 在公开线程里说,用不到 5 美元 API 额度就可以在本地搭一套类似「Claude Code」的 harness。这是作者的说法,实际花费仍取决于实现和缓存。满分 118 分:自动测试 88 分(deterministic 48 + live 40),两份书面 30 分(自己使用 agent 的 field notes,以及解释取舍的 design memo)。

HW2:Building an Evaluation Task。 由 SWE-bench 共同作者之一 John Yang 设计,starter 在 HW2 作业仓库(课程主页上的 assignment2-harness 指向同一仓库),同样是 MIT 许可。学生先用 Harbor 和 Docker 跑通 HumanEval、SWE-bench Verified、Terminal-Bench 2.1 的示例,再自己写一道 Harbor 任务:要有清楚的问题陈述,必须是多轮(探索、行动、根据观察调整),环境可从干净 checkout 构建,oracle 能通过同一套 verifier 拿到满分,verifier 不能只检查「文件是否存在」。随后用 pinned 的 mini-SWE-agent 和指定模型跑 5 次独立 attempt,并写一页报告。评分看可复现性、所测能力是否成立、任务与 verifier 是否一致、难度是否来自能力而非题目缺陷,以及报告是否如实解释 5 次结果。提交后还要评阅三位同学的任务。

Logistics 页对作业的概括是「给定一个现成 agent,设计评测套件」。公开讲义的实际主线是:学生自己出一道可运行的 agent 评测任务。对外自学请以 GitHub 讲义为准。

论文视频。 每人选一篇近期、且课堂指定阅读尚未讲过的 agent 论文,录 10–15 分钟视频:讲清问题、方法和证据,给出自己的批评,并做一件仅靠读论文做不到的事(跑代码、跟一条 trajectory、复现一个数字,或改设定做小实验)。不能用 AI 生成幻灯片。视频本身占 10%,另外要评阅两份同学视频。

项目。 这是课程的主任务,1–3 人一组,课程鼓励 3 人。题目需落在 agent 构建、所需数据,或评测与安全之一,领域自选。主页给的例子包括:从 syllabus 抽截止日期写入日历、下学期课表优化、论文发现与摘要、校园活动推荐、面向特定代码库的 coding agent,或对已有 agent 做严格评测并暴露失败模式。只演示「有一个例子能跑」分数不会高:需要尽早定义任务集、数据从哪来、何为成功、用代码 grader、LLM-as-judge 还是人工评分,并报告基线、比较和失败分析。里程碑是 proposal、midpoint demo 与 midway report、期末现场 demo 和 8 页 ICLR 格式报告;最终提交另有 5 分给可复现性,助教会按 README 跑一个简单实例。每一阶段都要写 AI-Use Disclosure;AI 可以参与项目的构思、代码和实验,但不能代写报告正文。

AI 工具政策与 CS336 不同。这门课预期学生使用生成式 AI,作业和项目里可以用 AI 生成代码,但必须能验证并解释,口头测验会检查;用 AI 完成作业却并不理解,属于 Honor Code 问题。报告正文不能由 AI 代写;复制其他学生或网上现成答案也不允许。

适合谁

先修是 CS224N、CS224U、CS224V、CS336,或同等的自然语言处理背景。Stanford Online 页面还列出 CS221 等可作为等价背景。第 1 讲幻灯片补充:需要已经具备训练集划分、预训练、微调、对齐和 prompting 等基本概念。这不是入门 prompting 课,也不适合把「会调用某个 agent 产品」当成先修完成。

更合适的读者是:准备自己写 harness 或评测,而不只是拼接框架的人;关心 workflow 与 agent 的边界、上下文如何压缩、工具失败如何处理、评测是否测到了声称的能力的人。校内这门课还有口头测验、同伴评审和整学期项目,每周投入按 Stanford Online 的说明大约 9–15 小时。如果主要想看讲座、对照公开作业做一部分,可以从主页和两个 GitHub 仓库跟,不必也不可能完整复制校内评分流程。

怎么跟

对外公开的 source of truth 是课程主页。建议顺序:

  1. 读主页的 Welcome 和 Logistics,弄清 compound AI system、作业与项目各自占什么位置。
  2. 按课表下幻灯片。已有 Video 链接的第 1–3 讲,可以用录像对照;其后讲次先以幻灯片和阅读材料为准,等 Stanford Online 继续放片。
  3. 做 HW1:先用确定性测试把协议、循环和错误处理做对,再打开 live tests;控制花费可先设 CS329Z_BUDGET_USD 和 CS329Z_EVAL_SLICE。自学者需要自己的 API key,仓库里的学生额度不适用于校外。
  4. 做 HW2 前先看第 10、13、15 讲幻灯片,再用 Harbor 跑示例任务,最后自己出题并写 verifier。
  5. 第 5 讲可对照 lecture5-frameworks 笔记本,看同一类日历任务在 DSPy、LangGraph 和 Temporal 里怎么被抽象。

相关的秋季课程,Michael Ryan 在 9 月开课公告里也提到了:CMU 的 11-768 AI Agents(Graham Neubig、Daniel Fried 等),以及 MIT 的 AI Engineering(Omar Khattab)。它们不是本课的先修,但可以对照看不同学校如何切同一问题。

边课堂练习(非课程作业)

下面两道是本文为自学者另写的练习,不是 CS329Z 的评分项,也不代替 HW1 / HW2。

练习 A:谁在决定下一步。 选三件自己每周都在用的工具(例如 CI、客服机器人、IDE 里的 coding agent)。对每一件写四行:控制流由代码固定还是由模型决定;工具、记忆、环境各是什么;一旦某一步失败,系统会停止、重试还是把决定交给人;你准备用什么可检查的标准判断它「这次做对了」。如果三件都被写成 agent,再强迫自己改写其中一件,说明它为什么其实更接近 workflow。

练习 B:一道最小的评测任务。 自拟一个可本地复现的任务(例如:在给定仓库里把一种过时 API 全部迁走,或按真实工单修改配置并跑测试)。写清 problem statement(要做什么)、environment(初始文件和允许的操作)、verification(scorer 怎么计分)。scorer 不能只检查某个文件是否存在。再补一项 evaluation protocol 里的 stopping criteria:一次尝试何时结束。再准备:一个应得满分的 oracle、一个「看起来做了但没做对」的错误解、一个什么都不做的基线。若有 Docker,把环境封进容器;没有的话,至少写明从干净目录复现的步骤。做完后问一句:模型失败时,是能力不够,还是题目含糊、环境太脆?

边界与来源

本文依据 2026 年 11 月 12 日(Asia/Shanghai)可核验的公开材料:课程主页、Logistics、Project 页,已发布的 lecture 01–13、15 幻灯片,HW1 / HW2 / 第 5 讲代码仓库中的 README 与讲义,Stanford Online 课程说明页,以及 Michael Ryan、Diyi Yang 的公开 X 帖。没有观看讲座录像,也没有使用 Canvas、Ed、口头测验或学生项目。因此,第 1–3 讲只根据主页链接和幻灯片概述,不写成课堂逐句记录;尚未公开幻灯片的讲次只保留课表信息。作业细节以 GitHub 讲义为准,不把 Logistics 上的一句概括扩写成「已经看到全部实现」。

公开范围到此为止:校内办公时间、Canvas 录像、口头测验、同伴互评的具体表格,以及学生作业与项目,都不在对外材料里。Stanford Online 面向学分学生的说明页在同日读取时写明 3 学分、学费 4,866 美元、时间 9 月 22 日至 12 月 11 日,当时状态为暂不开放报名;该页稍后用普通抓取返回 403,以上信息以当日成功读取的页面为准。API 积分由 Laude Institute、Thinking Machines、Google Cloud、AWS 和 Harbor 等向修课学生提供,自学者需自备。

作业仓库欢迎在注明来源的前提下用于其他课程。Enron 邮件是调查公开的真实通信,只应用于学习,不要二次传播其中的个人信息。课程材料仍可能改期或替换链接,以主页为准。

原始材料入口