返回白皮书目录
第 05 章第 2 部v0.1E1 已建立 · E2/E3 待验证 约 42 分钟

FDE 的 10 步交付闭环

用价值、可靠性和组织责任三条线,为项目从真实工作到能力移交建立十个证据门。

最近更新:2026年7月19日
本章目录

阅读边界: 本章明确区分官方事实、本站工作框架与待案例验证判断。本站框架不是行业认证或合规标准。

1. 十步不是瀑布,而是一组证据门

【本站框架】 十步给出默认顺序,但项目不会只向前走。第 6 步的真实样本可能推翻第 2 步的问题判断;第 7 步的失败模式可能迫使团队回到第 5 步降低自主性;第 8 步的权限限制可能要求重新设计整个工作流。

因此,步骤编号只表示当前主要决策,不表示合同阶段、部门边界或项目进度百分比。一个步骤只有在退出条件成立时才算通过;“开过会”“文档已提交”“Demo 能跑”都不能单独作为通过证据。

本章建议统一使用以下证据状态:

  • Missing:关键材料不存在
  • Planned:已指定收集方式和负责人
  • Observed:有观察或数据,但尚未复核
  • Verified:已由数据、系统状态或授权参与者确认
  • Contested:不同来源存在冲突,尚未解决
  • Not publishable:内部存在,但因隐私、商业秘密或授权不可公开

项目可以在 Not publishable 状态下完成内部交付,但不能把无法公开的证据替换成营销叙事。

2. 三条贯穿线

【本站框架】 每一步同时检查三条线。只完成其中一条,项目仍可能失败。

贯穿线 一直追问的问题 典型证据 常见假完成
价值线 真实问题是否值得解决,结果是否优于基线? 工作量、周期、质量、风险、成本、采用、结果 只展示模型能力或估算 ROI
可靠性线 系统如何失败、被限制、恢复和持续验证? Eval、权限、日志、回滚、SLO、事故、持续监控 Demo 成功、一次测试通过
组织线 谁决策、谁承担风险、谁使用、谁长期运行? Sponsor、Owner、RACI、审批、培训、移交 “项目组共同负责”或 FDE 一人兜底

3. 最小角色集合

同一个人可以承担多个角色,但角色不能消失。

角色 最小责任
业务 Sponsor 决定项目优先级、资源和业务风险接受范围
业务流程 Owner 拥有当前流程、基线、验收和采用结果
FDE 交付负责人 维护结果链完整性,推动十步证据门和跨团队决策
工程/平台 Owner 拥有系统设计、集成、部署与技术运行责任
领域与 Eval Owner 定义正确、严重失败、样本和人工评分规则
数据/安全/隐私/法务 Owner 在各自授权范围内批准数据用途、访问和风险控制
服务运行 Owner 拥有上线后的 SLO、告警、事故、成本与版本管理
真实用户/采用 Owner 参加工作流设计、试用、反馈、培训和采用决策

FDE 不替代这些角色签字。FDE 的责任是让缺失责任暴露出来,并阻止项目在责任未闭环时被叙述成“已完成”。

4. 十步总览

步骤 核心决策 主负责人 最小证据 主要退出条件
1. 观察真实工作 我们究竟要改变哪一段工作? FDE + 流程 Owner 当前流程图、角色、真实样本 用户、触发、完成状态和例外被确认
2. 建立价值基线 这个问题是否可测且值得解决? 流程 Owner 基线、指标口径、停止条件 价值假设可检验,Sponsor 同意继续
3. 锁定责任与决策权 谁决定、验收、承担风险和长期运行? Sponsor 项目责任书、RACI、决策门 每个关键决定都有唯一负责角色
4. 验证交付边界 数据、权限、系统、法规和采购是否允许? 各治理 Owner 数据清单、权限矩阵、风险登记 无未处理硬阻断,实验边界获批准
5. 选定最小系统形态 什么是足够简单且可运行的方案? FDE + 工程 Owner 方案对比、ADR、自主级别 最小方案及权衡被确认
6. 打通真实样本纵切 关键假设能否在真实链路上成立? FDE + 工程团队 可运行纵切、轨迹、失败日志 关键假设被证实、推翻或明确停止
7. 把失败写成评测门 什么质量与风险足以进入真实流量? Eval Owner 任务集、评分器、阈值、回归报告 门槛可重复执行且获风险 Owner 同意
8. 接入生产控制面 系统能否在身份、权限、审计和故障中运行? 工程/安全/运行 Owner 接口、权限、审计、回滚演练 高风险动作受控,回滚和响应可用
9. 用受控流量证明采用 用户是否持续完成真实任务并产生价值? 流程/采用 Owner 发布、使用、质量、成本和反馈 达到扩量、修改或停止的预定标准
10. 转成可持续服务 谁能在 FDE 退出后继续运行和改进? 服务 Owner SLO、持续 Eval、培训、移交演练 客户团队可独立运行,或续约责任明确

5. 第一步:观察真实工作

核心决策: 我们准备改变的不是一句需求,而是哪一个真实用户在什么触发时刻完成的哪一段工作?

输入

  • Sponsor 的初始目标或机会假设
  • 初步利益相关者名单
  • 进入现场、查看流程和使用样本的授权
  • 已知的隐私、保密和访问边界

动作

  1. 观察或访谈真实执行者,而不只访谈管理者。
  2. 记录触发、输入、判断、动作、交接、等待、例外和结束状态。
  3. 区分制度规定的流程与实际发生的流程,包括 Excel、聊天、复制粘贴和线下补偿。
  4. 选取代表性样本,覆盖正常、边界、失败和高风险任务。
  5. 标记当前使用的系统、数据来源、权限和人工判断。

负责人

  • Accountable:业务流程 Owner
  • Responsible:FDE 交付负责人
  • 必须参与:真实用户、领域专家、系统 Owner;涉及敏感数据时加入数据/隐私 Owner

必须证据

  • 一张由真实用户确认的当前流程图
  • 用户、触发时刻、完成状态和主要例外
  • 角色与系统清单
  • 脱敏后的代表性任务样本及来源说明
  • 观察限制:没看到什么、哪些人没访谈、哪些材料不能访问

退出条件

  • 至少一名真实执行者确认流程图没有遗漏关键步骤。
  • 团队能用一句话写清“谁在何时完成什么工作”。
  • 至少一个失败或例外路径被记录,而不是只有 happy path。
  • 数据采集目的、范围和访问授权已明确。

常见失败

  • 只接受高层给出的“做一个 Agent”或“建一个知识库”。
  • 把操作手册当成现场事实。
  • 只看演示样本,不看脏数据和失败任务。
  • 为了调研无限收集数据,超出必要范围。
  • FDE 代替用户想象流程,真实用户直到上线才出现。

三线检查

  • 价值线:哪里真正耗时、出错、积压或产生风险?
  • 可靠性线:现有流程如何发现错误、回退和人工接管?
  • 组织线:谁实际执行、谁批准、谁承担错误后果?

官方依据与边界

  • OpenAI 当前 FDE 岗位把 discovery 列为明确阶段,并要求与客户领导和一线团队共同工作。[OAI-FDE]
  • Palantir 当前 FDE 岗位强调进入客户现实并从第一次对话走向改变操作方式的交付。[PAL-ROLE]
  • NIST AI RMF 的 MAP 要求理解预期用途、使用场景、相关方、影响和限制。[NIST-RMF]
  • 这些来源支持“先理解真实场景”,但本步骤的流程图、样本要求和退出条件属于本站框架。

6. 第二步:建立价值基线

核心决策: 当前损失是什么,改善多少才值得继续,什么时候应该停止?

输入

  • 第一步的当前流程、真实用户和样本
  • 可获得的任务量、周期、质量、成本、风险或收入数据
  • Sponsor 的优先级和可接受投资范围

动作

  1. 把需求改写成可测的问题声明,不把“使用 AI”写成目标。
  2. 为每个指标定义分母、时间窗、数据来源、排除项和负责人。
  3. 建立当前基线,包括隐藏人工、返工、等待和失败处置成本。
  4. 设定目标区间,而不是伪精确的单点承诺。
  5. 写出最小可接受价值、停止条件和反事实:不做项目会怎样?

负责人

  • Accountable:业务流程 Owner
  • Responsible:FDE 交付负责人和业务分析负责人
  • Approver:业务 Sponsor

必须证据

  • 一页问题声明
  • 指标字典和基线数据快照
  • 价值假设及计算口径
  • 已知不可测部分和代理指标说明
  • 继续、暂停和停止条件

退出条件

  • 问题至少有一个可重复测量的基线。
  • 指标 Owner 能说明数据从哪里来、多久更新一次。
  • Sponsor 同意“达到什么值得扩量,达不到什么应停止”。
  • 目标没有把模型准确率直接等同于业务价值。

常见失败

  • 没有分母地写“效率提升 30%”。
  • 只算模型费用,不算整理输入、人工复核、集成和运行成本。
  • 用管理者满意度代替用户任务结果。
  • 项目开始后不断改变成功口径。
  • 没有停止条件,失败项目只能继续追加资源。

三线检查

  • 价值线:基线、目标、观察窗和单位经济是否一致?
  • 可靠性线:严重错误造成的损失是否进入价值模型?
  • 组织线:谁拥有指标,谁有权宣布成功或停止?

官方依据与边界

  • OpenAI Deployment Company 公开方法包含聚焦诊断、影响优先级路线图和可测结果;这是其官方经营模式陈述,不是独立成效证据。[OAI-DEPLOY]
  • OpenAI Frontier 把可测影响作为部署工作的组成部分,并强调围绕既有数据、系统和权限建设。[OAI-FRONTIER]
  • NIST MAP 1.4 要求明确商业价值或背景、指标和风险容忍度。[NIST-RMF]
  • 价值基线模板和停止条件属于本站框架。

7. 第三步:锁定责任与决策权

核心决策: 谁能做决定、谁验收、谁接受风险、谁负责上线后运行?

输入

  • 已确认的问题、价值基线和初步范围
  • 项目涉及的业务、技术、数据、治理和用户角色
  • 预算、周期和组织约束

动作

  1. 指定 Sponsor、流程 Owner、FDE、工程 Owner、Eval Owner、治理 Owner、运行 Owner 和采用 Owner。
  2. 为范围、数据、方案、上线、风险接受、扩量和停止设置决策门。
  3. 为每个决策门指定唯一 Accountable 角色、所需证据和最长响应时间。
  4. 约定争议升级路径,区分“咨询意见”与“批准权”。
  5. 写清 FDE 能推动但不能越权替代的决定。

负责人

  • Accountable:业务 Sponsor
  • Responsible:FDE 交付负责人
  • 必须确认:所有被列为 Accountable 或 Approver 的角色

必须证据

  • 项目责任声明
  • RACI 或等价责任矩阵
  • 决策门和升级路径
  • 会议与决策记录的保存位置
  • 风险接受与停止权归属

退出条件

  • 每个关键决定都有唯一 Accountable 角色,而不是“项目组”。
  • 安全、隐私、法务和数据角色在进入生产前有明确介入点。
  • 真实用户在需求、Eval 和采用阶段有正式参与方式。
  • 上线后的运行 Owner 已出现,不把责任默认留给开发者或外部 FDE。

常见失败

  • Sponsor 只在启动会出现,之后无人拍板。
  • 每个人都有否决权,但没人有决定权。
  • FDE 被要求为法律、安全或业务战略独自签字。
  • 运行团队在上线前一周才得知项目。
  • 责任矩阵存在,但当事人从未确认。

三线检查

  • 价值线:谁确认价值口径和扩量投资?
  • 可靠性线:谁接受剩余风险,谁有紧急停止权?
  • 组织线:谁拥有每个交付物和长期能力?

官方依据与边界

  • NIST AI RMF 要求与 AI 风险有关的角色、责任和沟通线被记录并保持清晰,执行层对风险决策负责。[NIST-RMF]
  • OpenAI Frontier 明确把访问控制、审计和组织采用置于同一交付体系中。[OAI-FRONTIER]
  • 本章的最小角色集合和决策门格式属于本站框架。

8. 第四步:验证交付边界

核心决策: 在真实的数据、权限、系统、法规、采购和运行约束下,什么可以做,什么不能做?

输入

  • 真实工作流、样本、价值基线和责任矩阵
  • 当前系统架构、数据资产和供应商信息
  • 企业制度、行业规则和适用法规初步清单

动作

  1. 盘点数据类别、来源、Owner、处理目的、最小必要范围、保留和删除要求。
  2. 绘制数据流和系统边界,标出第三方模型、工具、插件、跨境和委托处理关系。
  3. 盘点身份、角色、服务账号、审批、职责分离和审计要求。
  4. 核验网络、私有化、延迟、容量、成本、采购、合同、知识产权和供应商退出条件。
  5. 建立风险登记,区分硬阻断、可缓解风险、待验证假设和可接受限制。
  6. 对高风险处理触发必要的隐私、安全、法律或伦理评估;具体适用性由授权专业人员判断。

负责人

  • Accountable:对应的数据、安全、隐私、法务、采购或平台 Owner
  • Responsible:FDE 维护统一约束登记,工程 Owner 提供技术证据
  • Approver:各治理角色在其授权范围内批准

必须证据

  • 数据清单和数据流图
  • 权限与身份矩阵
  • 系统/供应商边界和部署约束
  • 风险登记及 Owner、缓解措施、截止时间
  • 必要的评估、审批或法务意见引用
  • 明确的不可做事项和实验隔离条件

退出条件

  • 没有未指定 Owner 的硬阻断。
  • 原型所用数据、账号和环境已有合法、合规且可审计的使用边界。
  • 生产所需的关键网络、身份、部署和采购路径至少被证明可行;若未证明,缺口被显式标记,不能把原型称为生产近似。
  • 对无法消除的风险,具备有权角色的书面接受、降级方案或停止决定。

常见失败

  • 把“已脱敏”当结论,却没有脱敏方法和复识别风险验证。
  • 使用个人账号、共享密钥或开发者高权限凭证推进试点。
  • 先把数据送入第三方服务,再补供应商和跨境审查。
  • 把提示词当访问控制,把“模型不会做”当安全措施。
  • 把法规清单当法律意见,忽略行业监管和企业内部制度。
  • 因合同要求交付文档,就误以为系统边界已经闭环。

三线检查

  • 价值线:合规、私有化和集成成本是否使项目不再值得做?
  • 可靠性线:权限、审计、数据生命周期和供应商故障如何受控?
  • 组织线:每个限制由谁解释、批准、缓解和持续复核?

官方依据与边界

  • NIST AI RMF 和 GenAI Profile 要求在具体场景中识别风险、影响、责任和监控,不把通用模型能力等同于可部署性。[NIST-RMF] [NIST-GENAI]
  • MCP 安全指南强调最小权限、受众约束、Token 安全、SSRF 防护和会话边界;它只覆盖 MCP 相关攻击面。[MCP-SEC] [MCP-AUTH]
  • OWASP LLM/Agentic 项目把提示注入、敏感信息泄露、过度代理、工具滥用和身份权限滥用列为重点风险;它们是社区安全框架,不是合规证书。[OWASP-LLM] [OWASP-AGENTIC]
  • 中国个人信息保护法、数据安全法、网络数据安全管理条例和生成式 AI 暂行办法可能影响数据处理与服务设计;具体适用范围必须按场景和行业判断。[CN-PIPL] [CN-DSL] [CN-NETDATA] [CN-GENAI]

9. 第五步:选定最小系统形态

核心决策: 在价值和约束成立的前提下,什么是足够简单、可评测、可治理和可运行的方案?

输入

  • 问题、基线、约束和风险登记
  • 代表性样本与初步失败模式
  • 可用模型、工具、系统和团队能力

动作

  1. 同时比较不做、流程改造、规则、搜索、传统软件、RAG、LLM workflow 和 agent。
  2. 把任务拆成可确定执行、需要模型判断、需要人工批准和不可自动化的部分。
  3. 为 agent 定义自主级别、工具范围、状态、记忆、人工确认和终止条件。
  4. 比较买、建、联合交付和复用现有平台的成本与锁定风险。
  5. 记录架构决策、被放弃方案和未来升级条件。
  6. 预先定义降级路径:模型不可用、工具失败或风险升高时,系统如何退回规则、只读或人工流程。

负责人

  • Accountable:工程/平台 Owner
  • Responsible:FDE 与架构/工程团队
  • Consulted:流程、Eval、安全、运行和采购 Owner

必须证据

  • 方案对比矩阵
  • 架构决策记录 ADR
  • 自主级别与人工确认矩阵
  • 模型、工具、数据和系统边界图
  • 延迟、容量、成本预算和降级方案
  • 需要原型验证的关键假设列表

退出条件

  • 团队能说明为什么更简单的方案不足,或为什么当前不需要 agent。
  • 方案的关键假设、已知风险和不可承诺事项被记录。
  • 高风险动作默认不依赖模型自行决定是否批准。
  • 方案能被第七步的 Eval 和第八步的生产控制验证。

常见失败

  • 先决定“做多 Agent”,再寻找问题。
  • 把 RAG、记忆或 MCP 当作必须出现的架构部件。
  • 为了演示效果增加自主性,却没有恢复和审计能力。
  • 只比较模型准确率,不比较总延迟、集成、人工复核和运营成本。
  • 方案完全依赖单一专家或临时脚本,无法移交。

三线检查

  • 价值线:最小方案能否验证最关键的价值假设?
  • 可靠性线:复杂度是否带来可测收益,失败时能否降级?
  • 组织线:现有团队是否有能力拥有、运行和继续开发该方案?

官方依据与边界

  • Anthropic 建议先采用尽可能简单的方案,并区分 workflow 与 agent。[ANT-AGENTS]
  • OpenAI 的 Agent 指南建议在复杂决策、难维护规则或非结构化数据成为主要瓶颈时考虑 agent,并从单 Agent、清晰工具和分层 guardrail 起步。[OAI-AGENT-GUIDE]
  • 方案对比矩阵、自主级别和退出条件属于本站框架。

10. 第六步:打通真实样本纵切

核心决策: 在受控环境中,关键假设能否穿过真实数据、模型、工具和输出,形成可检查的最终状态?

输入

  • 已批准的最小系统形态
  • 代表性样本、使用授权和隔离环境
  • 关键假设、失败模式和初步验收口径

动作

  1. 构建最薄的端到端纵切,而不是先铺完整平台。
  2. 尽量使用真实格式、真实权限模型和真实接口;无法使用时明确模拟差距。
  3. 为每次运行保存输入版本、配置、模型、工具调用、轨迹、输出和最终环境状态。
  4. 同时运行正常、边界、失败和对抗样本。
  5. 保留人工基线或现有流程对照,记录所有隐藏人工修正。
  6. 让真实用户完成任务并解释何时信任、拒绝或需要补充信息。
  7. 在触及生产写操作前使用只读、沙箱或明确人工批准。

负责人

  • Accountable:工程 Owner
  • Responsible:FDE 与工程团队
  • 必须参与:领域/Eval Owner、真实用户、必要的安全与数据 Owner

必须证据

  • 可重复运行的纵切版本
  • 样本来源、覆盖和脱敏说明
  • 运行轨迹与最终状态
  • 失败日志、人工修正和已知限制
  • 与人工或现有流程的对照结果
  • 继续、改方案或停止的假设判定记录

退出条件

  • 至少一个关键价值假设和一个关键可靠性假设被真实样本验证。
  • 结果不是由演示者在系统外手工补齐后才成立。
  • 团队知道失败发生在哪里,能复现至少主要失败类型。
  • 对生产差距有明确清单,不把沙箱成功写成生产就绪。
  • 形成 continue / redesign / stop 的明确决定。

常见失败

  • 只挑模型最容易成功的样本。
  • 使用假的 API、假的权限和整理好的数据,却声称已验证集成。
  • 没有版本和轨迹,成功无法复现。
  • 人工在幕后修正输入或结果,但没有计入成本和质量。
  • 原型直接拿生产高权限写入系统。

三线检查

  • 价值线:真实用户是否完成了目标任务,投入是否少于基线?
  • 可靠性线:失败是否可见、可复现、可分类和可恢复?
  • 组织线:用户、工程和治理角色是否共同看过同一份证据?

官方依据与边界

  • OpenAI 当前 FDE 岗位把原型、系统设计、构建和生产发布连成同一职责链;原型只是阶段,不是终点。[OAI-FDE]
  • OpenAI Frontier 强调围绕企业已有数据、系统、工具、权限和控制构建 agent,并形成评测与优化循环。[OAI-FRONTIER]
  • NIST 要求测试条件尽量匹配部署条件,并记录条件不匹配带来的限制。[NIST-RMF]
  • “最薄纵切”和本步骤的假设门属于本站框架。

11. 第七步:把失败写成评测门

核心决策: 哪些任务必须成功,哪些失败可以接受,哪些失败一次都不能放过?

输入

  • 真实工作流、代表性样本和纵切轨迹
  • 已观察失败、业务风险和上线范围
  • 当前人工或旧系统基线

动作

  1. 采用 top-down 与 bottom-up 两种方式建立任务集:从业务目标拆任务,也从原型日志和真实失败反推任务。
  2. 同时覆盖成功路径和多种失败模式:输入缺失、知识冲突、工具选择错误、参数错误、权限拒绝、状态不一致、越权动作和无法完成。
  3. 分开评估最终结果、关键过程/轨迹和安全控制,不把“回答像对的”当任务完成。
  4. 组合确定性评分、规则评分、模型评分和人工评分;高风险判断保留人工校准。
  5. 为严重度、通过率、人工复核率、成本和延迟设置阈值。
  6. 记录数据集来源、版本、污染风险、代表性和不可覆盖部分。
  7. 把 Eval 放入每次提示词、模型、工具、数据和代码变更后的回归流程。

负责人

  • Accountable:领域/Eval Owner
  • Responsible:FDE、Eval/工程团队
  • Approver:业务流程 Owner 与相应风险 Owner

必须证据

  • 任务集目录、来源和覆盖矩阵
  • 失败分类与严重度
  • 评分器、rubric、人工校准样本和分歧记录
  • 基线、候选版本和回归结果
  • 上线阈值、禁止上线条件和已知限制
  • 对高风险动作的安全/权限测试

退出条件

  • 任务集覆盖核心成功路径和主要失败模式,而不是只有正例。
  • 评分器能重复运行,并经过人工抽检或校准。
  • 严重失败有单独阈值,不被平均分掩盖。
  • 通过标准由业务与风险 Owner 同意,不由模型团队单方面宣布。
  • 任一变更都能触发可复现的回归比较。

常见失败

  • 使用“看起来不错”的展示样本做验收。
  • 只有平均准确率,没有严重错误率。
  • 用另一个模型评分,却没有人工校准和偏差检查。
  • 测试集泄漏进提示词、微调或开发过程。
  • 只评模型回复,不检查数据库、工单、文件或工具执行后的最终状态。
  • 上线后不再更新任务集,真实失败无法回流。

三线检查

  • 价值线:Eval 是否测到用户任务和业务结果,而不只是语言质量?
  • 可靠性线:成功、失败、恢复、权限和回归是否都有门槛?
  • 组织线:谁维护任务集、批准阈值、裁决评分分歧?

官方依据与边界

  • Anthropic 官方 Agent eval 指南建议从 top-down 与 bottom-up 任务开始,覆盖成功与多种失败模式,组合确定性、模型和人工评分,并用真实生产流量持续监控。[ANT-EVALS]
  • OpenAI Eval 指南强调任务特定评测、日志、自动化评分、人工判断和持续评测。[OAI-EVAL]
  • NIST 要求测量与部署条件相关,并警惕从狭窄、非系统或轶事性测试外推。[NIST-RMF]
  • 任务集字段、严重度门和退出条件属于本站框架。

12. 第八步:接入生产控制面

核心决策: 系统不仅能调用工具,还能在企业身份、权限、审计、事务和故障约束下安全运行吗?

输入

  • 通过评测门的候选系统
  • 架构、权限、风险登记和生产环境要求
  • 运行 Owner、发布策略和支持路径

动作

  1. 使用生产身份体系和最小权限,避免共享高权限 Token。
  2. 对用户输入、外部内容、模型输出和工具参数做结构化验证。
  3. 对付款、发送、删除、审批、权限修改等有副作用或高风险动作设置人工批准和范围预览。
  4. 设计幂等、重试、超时、事务、补偿、回滚和人工接管。
  5. 记录用户、Agent、工具、数据、批准者、时间、参数和最终状态,形成可追溯审计。
  6. 验证提示注入、敏感信息泄露、工具滥用、供应链和会话/Token 攻击。
  7. 建立监控、告警、SLO 草案、事故分级、停止开关和回滚演练。
  8. 为账号撤销、员工离职、供应商变更和密钥轮换设计生命周期控制。

负责人

  • Accountable:工程/平台 Owner 与安全 Owner,各自负责其控制面
  • Responsible:工程、平台、SRE/运行团队;FDE 维护跨域证据
  • Approver:业务、数据、隐私、法务等有权角色

必须证据

  • 接口契约、数据映射和错误语义
  • Tool/数据权限矩阵与授权流程
  • 威胁模型、安全测试和整改记录
  • 审计日志样本及查询方式
  • 幂等、重试、回滚和人工接管演练
  • 运行手册、SLO 草案、告警和事故联系人
  • 高风险动作的人机确认设计

退出条件

  • 每个生产身份和工具权限都能映射到最小业务需要。
  • 所有高风险写操作都有授权、预览、确认或等价控制。
  • 关键故障能被监测,回滚或降级已实际演练。
  • 日志能回答谁在何时基于什么输入执行了什么动作,结果是什么。
  • 运行与安全 Owner 同意进入受控真实流量。

常见失败

  • 一个服务账号拥有所有用户和系统权限。
  • 直接把模型文本拼接成 SQL、Shell、API 或审批动作。
  • 把 MCP 或工具协议接通等同于完成授权设计。
  • 只有重试,没有幂等和补偿,导致重复写入。
  • 有日志但无法关联用户、工具调用和最终状态。
  • 生产故障只能找最初的 FDE 手工修复。

三线检查

  • 价值线:控制带来的摩擦是否仍低于风险与返工成本?
  • 可靠性线:最小权限、确认、审计、回滚和事故响应是否可用?
  • 组织线:谁拥有生产身份、告警、事故和风险接受?

官方依据与边界

  • OpenAI Frontier 把共享业务上下文、执行环境、评测优化和治理控制视为企业 agent 的共同底座。[OAI-FRONTIER]
  • OpenAI Agent 指南建议分层 guardrail,并对高风险动作保留人工干预。[OAI-AGENT-GUIDE] [OAI-GUARDRAILS]
  • MCP 官方安全材料要求最小权限、Token 受众和安全授权,明确反对 Token passthrough 等不安全模式。[MCP-SEC] [MCP-AUTH]
  • OWASP LLM/Agentic 风险支持提示注入、过度代理、工具滥用和身份权限控制要求。[OWASP-LLM] [OWASP-AGENTIC]
  • 控制清单和退出门属于本站框架。

13. 第九步:用受控流量证明采用

核心决策: 在真实用户、真实任务和可控风险下,系统是否被持续使用,并比原流程创造更高净价值?

输入

  • 通过生产控制门的系统
  • 明确的试点人群、工作流和支持方案
  • 上线、采用、质量、成本和停止阈值

动作

  1. 采用影子运行、并行对照、灰度或限定人群,而不是一次性全量切换。
  2. 在真实工作流中培训用户,说明能力边界、复核点、失败升级和反馈入口。
  3. 同时观测任务完成、使用频率、留存、人工复核、严重错误、延迟、成本、支持工单和退出原因。
  4. 区分“打开过”“生成过内容”和“完成了真实任务”。
  5. 把真实流量中的新任务和失败持续加入 Eval。
  6. 定期与原基线比较,记录外部因素和激励变化,避免把同时发生的流程改革全部归因于 AI。
  7. 按预定门槛做扩量、保持、修改或停止决定。

负责人

  • Accountable:业务流程/采用 Owner
  • Responsible:FDE、产品/运营、工程与支持团队
  • Approver:Sponsor、运行和风险 Owner

必须证据

  • 发布版本、时间、人群和回滚点
  • 真实任务完成与采用漏斗
  • 线上质量、严重失败、人工复核和支持数据
  • 延迟、容量、模型与基础设施单位成本
  • 用户反馈、退出原因和流程变化记录
  • 与原基线一致口径的阶段结果
  • 扩量、修改或停止决策记录

退出条件

  • 在预先约定的观察窗口内达到最低运行稳定性。
  • 目标用户使用系统完成真实任务,而不是只参加培训或尝试 Demo。
  • 质量、成本和采用同时在可接受范围,未用其中一个掩盖另一个。
  • 真实流量失败已进入任务集和修复队列。
  • Sponsor 和流程 Owner做出明确的下一阶段决定。

常见失败

  • 用账号开通数、页面访问或一次使用代替采用。
  • 只报告好评,不记录拒绝、绕开和回退旧流程。
  • 观察窗过短,或上线期有强制激励却不说明。
  • 采用提升,但人工复核和支持成本高于节省价值。
  • 线上发现新失败后,只修提示词,不更新 Eval。
  • 没有停止机制,低价值试点长期占用团队。

三线检查

  • 价值线:真实任务的净结果是否优于基线?
  • 可靠性线:真实流量是否维持评测、安全、延迟和成本门槛?
  • 组织线:用户为何采用或拒绝,流程与考核是否支持新方式?

官方依据与边界

  • OpenAI 当前 FDE 岗位把 production adoption、measurable workflow impact 和一线反馈列入成功职责。[OAI-FDE]
  • OpenAI Deployment Company 把构建生产系统、推动采用和可测结果放在同一部署路径中。[OAI-DEPLOY]
  • Anthropic Agent eval 指南建议在生产中监控真实分布,因为离线任务集不能覆盖所有真实行为。[ANT-EVALS]
  • NIST MANAGE 包含部署后监控、用户反馈、申诉/覆盖、停用和退役机制。[NIST-RMF]
  • 采用漏斗和联合门槛属于本站框架。

14. 第十步:转成可持续服务

核心决策: 如果最初的 FDE 明天退出,客户团队能否继续运行、评测、恢复、变更和停止系统?

输入

  • 生产运行、采用和阶段结果证据
  • 目标运营模式和商业/组织安排
  • 未解决风险、技术债和产品反馈

动作

  1. 明确服务 Owner、业务 Owner、Eval Owner、安全 Owner 和供应商责任。
  2. 固化 SLO、成本预算、容量、告警、值守、事故、变更和发布流程。
  3. 建立持续 Eval:从真实流量采样、补任务、回归版本并追踪严重失败。
  4. 定期复核账号、权限、数据保留、供应商、模型和第三方工具。
  5. 完成运行手册、培训、故障桌面演练、回滚演练和关键人员备份。
  6. 移交代码、配置、提示词、数据管道、任务集、评测结果、日志查询和资产权限。
  7. 把现场反馈分成客户特有配置、可复用方法、产品缺口和不应继续支持的定制。
  8. 明确扩大、维持、重构、续约或退役的下一次决策日期。

负责人

  • Accountable:服务运行 Owner
  • Responsible:客户工程/运行团队与 FDE
  • Approver:业务流程 Owner、Sponsor 及相应风险 Owner

必须证据

  • 服务目录、SLO、告警和事故流程
  • 成本、容量和供应商依赖看板
  • 持续 Eval 计划、回归历史和真实失败回流记录
  • 权限复核、数据生命周期和密钥轮换记录
  • 运行手册、培训记录和演练结果
  • 完整资产与责任移交清单
  • 产品反馈、定制债和退役计划

退出条件

  • 新 Owner 能在没有原始 FDE 实时帮助时完成一次运行检查、故障处理和版本回归。
  • 生产账号、密钥、任务集、日志和发布权限不再只掌握在个人手里。
  • 供应商或模型变化时,有明确的再评测和回滚机制。
  • 若继续由外部 FDE/服务团队运营,责任范围、SLO、成本和退出方式已正式续约,而不是默认依赖。
  • 系统有明确的下一次价值复核和退役条件。

常见失败

  • 发一份文档就宣布移交,没有演练。
  • 客户只会点击使用,不会评测、恢复或升级。
  • 最初 FDE 持有唯一生产权限和关键上下文。
  • 没有持续 Eval Owner,模型或数据变化无人发现回归。
  • 客户特有定制从不回流产品,也从不被停止。
  • 项目永久运行,却没人再次检查价值是否存在。

三线检查

  • 价值线:系统是否仍创造净价值,何时再次复核或退役?
  • 可靠性线:持续 Eval、SLO、事故、变更和供应商风险是否被拥有?
  • 组织线:能力是否真正转移,或依赖关系是否被明确购买和治理?

官方依据与边界

  • OpenAI Frontier 强调可评测和优化的反馈循环、企业控制以及组织可以长期拥有的重复模式。[OAI-FRONTIER]
  • OpenAI Deployment Company 把现场建设与长期运营支持、组织采用放在同一模式中。[OAI-DEPLOY]
  • Anthropic Agent eval 指南强调生产监控和随真实流量更新 eval。[ANT-EVALS]
  • NIST 要求部署后监控、人员培训、风险响应、停用和退役计划。[NIST-RMF]
  • “客户团队独立演练”与本步骤的移交门属于本站框架。

15. 五个决策门

十步用于执行,决策门用于控制投入。任一门都允许停止项目。

决策门 发生位置 必须回答 允许决定
G0 值得解决吗 第 2 步后 问题可测、价值足够、停止条件明确吗? 继续发现 / 暂停 / 停止
G1 允许且可行吗 第 4-5 步后 责任、数据、权限、方案和成本是否成立? 原型 / 降范围 / 换方案 / 停止
G2 值得进入真实流量吗 第 7 步后 任务集、失败门和风险接受是否可执行? 受控试点 / 补证 / 停止
G3 可以生产运行吗 第 8 步后 身份、审计、回滚、响应和 Owner 是否就绪? 灰度 / 延期 / 降级 / 停止
G4 应该扩大并移交吗 第 9-10 步 价值、采用、可靠性和能力拥有是否同时成立? 扩大 / 维持 / 重构 / 退役

16. 中国企业环境中的变体

以下内容是**【中国现场假设】**。官方法规能证明某些义务存在,但不能证明每家企业都采用相同流程。

16.1 采购顺序可能早于发现顺序

有些项目先有预算、招标或合同范围,再开始接触真实用户。此时不要假装第 1-2 步已完成。建议并行维护两套状态:

  • 合同交付状态:合同要求的里程碑、文档和验收材料
  • 实际结果状态:十步的价值、可靠性和组织证据

合同材料可以是证据的一部分,但不能替代真实采用和结果。

16.2 原型环境与生产环境可能差异很大

公网模型、个人账号和外部 SaaS 可能只允许用于早期实验,而生产要求专线、私有化、网络隔离、统一身份或国产化环境。第 6 步必须单列“生产等价性缺口”;若关键约束未被复现,不能按接近生产的原型估算质量、延迟和成本。

16.3 数据、系统和流程可能属于不同部门

业务有价值目标,不代表拥有数据;科技有系统,不代表有权改变流程;风险和法务拥有否决点,但不负责实现。第 3、4 步需要更早明确跨部门决策时限、材料格式和升级路径。

16.4 法规适用性不能用一张通用清单代替

  • 个人信息保护法要求个人信息处理具备明确合理目的、与目的直接相关,并采取影响个人权益最小的方式;敏感个人信息、自动化决策、委托处理和跨境等场景可能触发额外要求。[CN-PIPL]
  • 数据安全法强调数据分类分级、全流程安全管理和风险监测处置。[CN-DSL]
  • 网络数据安全管理条例自 2025-01-01 起施行,进一步规定网络数据处理活动和相关责任。[CN-NETDATA]
  • 生成式人工智能服务管理暂行办法主要针对向境内公众提供生成式 AI 服务;企业内部使用是否落入具体条款,必须按服务对象、功能、行业和部署方式判断。[CN-GENAI]

本章不提供法律意见。项目应由有权的法务、隐私、安全和行业合规人员完成适用性判断。

16.5 “验收”可能偏向文档,采用可能偏向组织激励

项目可能按接口、功能、报告和培训完成合同验收,却没有证据表明用户持续使用。反过来,短期强制使用也可能制造虚假采用。第 9 步应记录真实任务完成、旧流程回退、人工复核、用户退出原因和激励变化。

16.6 供应商联合交付需要明确最终 Owner

模型商、集成商、软件商、咨询方和企业内部团队可能共同交付。责任矩阵要回答:谁修模型问题、谁修业务规则、谁修接口、谁响应事故、谁维护 Eval、谁拥有数据和提示词资产。不能用“供应商负责”作为一个模糊角色。

17. 中国企业证据缺口

截至 2026-07-19,本章仍缺以下 E2/E3 证据:

  1. 至少 3 个中国企业 AI 项目按同一十步框架回填的完整记录。
  2. 至少 1 个银行或强监管行业项目的权限、审计、上线与移交证据。
  3. 至少 1 个 Demo 成功但采用失败的项目时间线。
  4. 至少 1 个因数据、采购、成本或组织责任停止的项目。
  5. 安全、法务、隐私、采购和数据治理人员对第 3、4、8 步的联合复核。
  6. 合同验收指标与真实业务结果不一致的可脱敏样本。
  7. 私有化/隔离环境与公网原型之间质量、延迟、成本差异的实测数据。

在这些证据补齐前,本章可以作为项目工作框架公开讨论,但不能宣称“已被中国企业普遍验证”。

19. 中文版结论

FDE 的价值不在于同时做了产品、工程、咨询和项目管理,而在于阻止项目用一个阶段的成功冒充整条结果链的成功。

十步中最重要的不是“做完十件事”,而是每次前进都能回答:

  1. 价值线有没有新的可测证据?
  2. 可靠性线有没有新的失败、控制和恢复证据?
  3. 组织线有没有明确的决定、责任和长期拥有者?

如果不能回答,就应该回退、降范围或停止,而不是用更多功能掩盖缺口。


行动资产

打开《FDE 10 步交付画布》,用于项目立项、周评审、阶段门禁和移交复盘。

来源与证据边界

All sources below were accessed or rechecked on 2026-07-19. Short quotations elsewhere in the chapter remain within the editorial excerpt limits. Dynamic pages may change; citations should be read with the access date, and source changes or factual errors are welcome as correction reports.

ID Primary source Publisher/date Supports Does not prove
OAI-FDE Forward Deployed Engineer, NYC OpenAI; dynamic job page Current OpenAI role scope across discovery, technical scoping, design, build, rollout, adoption, measurable workflow impact, and field feedback A universal FDE definition or evidence that every engagement succeeds
OAI-DEPLOY OpenAI launches the OpenAI Deployment Company OpenAI; 2026-05-11 OpenAI’s stated deployment model, focused diagnostic, impact roadmap, production work, adoption, and measurable results Independent validation of commercial or customer outcomes
OAI-FRONTIER Introducing OpenAI Frontier OpenAI; 2026-02-05 Enterprise context, execution, evaluation/optimization, controls, identity, audit, and repeatable production patterns A vendor-neutral architecture standard or a compliance certification
OAI-AGENT-GUIDE A practical guide to building agents OpenAI; living guide Agent suitability, starting small, real-user validation, tool design, fallback, guardrails, and human intervention That an agent is required for the project or that the described pattern is optimal everywhere
OAI-EVAL Evaluation best practices OpenAI Developers; living documentation Task-specific evaluation, logging, automated scoring, human judgment, and continuous regression Business acceptance thresholds or independent proof of a deployed system’s quality
OAI-GUARDRAILS Guardrails and human review OpenAI Developers; living documentation Automatic input/output/tool checks and human approval before sensitive side effects Complete application security or authorization design
ANT-AGENTS Building effective agents Anthropic; 2024-12-19 Workflow/agent distinction, simple composable designs, tool contracts, and adding complexity only when justified A universal production architecture or independent benchmark
ANT-EVALS Demystifying evals for AI agents Anthropic; 2026-01-09 Top-down and bottom-up task construction, success and failure coverage, mixed graders, traces/outcomes, and production monitoring Project-specific risk tolerance, legal approval, or a complete security program
PAL-ROLE Forward Deployed Software Engineer, New Grad - Commercial Palantir official ATS; dynamic job page Palantir’s current end-to-end FDE role, customer reality, stakeholder work, data, architecture, and operational change The responsibility model of every Palantir team or the wider FDE market
NIST-RMF Artificial Intelligence Risk Management Framework 1.0 NIST; 2023-01-26 Govern, Map, Measure, Manage; documented responsibilities; context; deployment-relevant testing; monitoring and retirement Legal compliance by itself; the framework is voluntary and requires contextual implementation
NIST-GENAI Generative AI Profile, NIST AI 600-1 NIST; 2024-07-26 GenAI-specific risk considerations and actions that extend AI RMF China-specific legal compliance or project acceptance
MCP-SEC MCP Security Best Practices Model Context Protocol; living documentation OAuth/authorization risks, least privilege, token handling, SSRF, sessions, and MCP threat patterns Security outside the MCP boundary or compliance certification
MCP-AUTH MCP Authorization Model Context Protocol specification; 2025-11-25 version Authorization roles, resource indicators, token audience, and protocol-level requirements A complete enterprise IAM design or permission model for business actions
OWASP-LLM OWASP Top 10 for LLM Applications OWASP GenAI Security Project; current 2025 release Prompt injection, sensitive information disclosure, excessive agency, output handling, supply-chain, and related LLM risks Exhaustive threat coverage, legal compliance, or proof that mitigations work in a specific deployment
OWASP-AGENTIC OWASP Top 10 for Agentic Applications for 2026 OWASP GenAI Security Project; published 2025-12-09 as the 2026 release Tool misuse, identity/privilege abuse, memory/context risks, orchestration, and human-agent trust boundaries A formal standard, certification, or complete project threat model
CN-PIPL 中华人民共和国个人信息保护法 / Personal Information Protection Law National People’s Congress; passed 2021-08-20, effective 2021-11-01 Primary legal text for personal-information processing obligations in China Project-specific legal advice or a conclusion that every AI project processes personal information
CN-DSL 中华人民共和国数据安全法 / Data Security Law National People’s Congress; passed 2021-06-10, effective 2021-09-01; official full-text republication by CAC Primary legal text for data classification, security management, monitoring, and response A complete sector-specific compliance determination
CN-NETDATA 网络数据安全管理条例 / Network Data Security Management Regulations State Council; promulgated 2024-09-30, effective 2025-01-01 Primary rules for network-data processing activities and related responsibilities Automatic applicability to every internal AI experiment
CN-GENAI 生成式人工智能服务管理暂行办法 / Interim Measures for Generative AI Services CAC and six other authorities; published 2023-07-13, effective 2023-08-15 Primary rules for generative AI services offered to the public in mainland China A conclusion that every private or internal enterprise AI system falls within the same scope

Final evidence statement

  • Official facts: current role expectations, published vendor methods, technical documentation, standards, and legal texts are cited with source and access date.
  • First-party claims: OpenAI, Anthropic, and Palantir materials establish what those organizations say they do; they are not treated as independent proof of outcomes.
  • FDE working framework: the ten names, sequence, three lines, artifacts, gates, evidence states, and exit conditions are original editorial synthesis for this handbook.
  • China-context hypotheses: organizational and procurement variants remain hypotheses until supported by reviewable China enterprise project evidence.
  • Beta status: this chapter is a public working framework. It has not been validated across Chinese enterprise projects and does not represent completed project-specific legal, privacy, security, confidentiality, or compliance review. The framework will continue to evolve; factual corrections and reviewable field evidence are welcome and will be reflected in later versions.