AI应用工程 · KNOWLEDGE CHAPTER

K34

评估与生产运营

AI 功能的发布单位是完整用户任务，而不只是一次模型响应。质量、延迟、费用和安全沿同一条运行轨迹相互影响：便宜模型可能制造更多重试，快速首事件可能只有心跳，高平均分也可能掩盖一次越权。运营要能找到原因，并及时停止扩大损害。

AI应用工程2 道章节练习5 道主练关联

先修知识：K24 · 自动化测试 K26 · 发布、协作与可观测 K32 · 流式协议与会话状态 K33 · 安全、权限与可信输出

核心模型

原理与机制

沿用户等待过程建立观测

从提交开始分别测排队、鉴权、检索、模型首事件、首个有意义正文、UI 提交、工具执行与完成。用关联 ID 贯通浏览器、BFF 和工具，附模型、提示、检索及发布版本。正文收到很早但显示很晚，应检查代理缓冲与 Markdown 渲染，而非先换模型。成功、主动取消、失败和不完整分别统计，按设备、网络和任务类型看分位数；心跳不算回答，最慢失败样本也不能从报表剔除。

让发布结论来自任务级证据

把常规、边界、困难、应拒绝和不应拒绝及攻击样本组成脱敏评估集，区分开发集与独立验收集。每条标明目标、允许动作、预期事实与通过条件；schema、来源 ID、权限和工具次数用程序检查，语义质量用盲测或与人工校准的评判模型。关键样本重复运行，分任务比较并保留失败轨迹。提前确定有效样本量、可接受差异和回滚阈值；严重越权单列阻断，不能被平均质量提升抵消。

把重试放进统一容量预算

429 先判断临时限流还是额度、计费问题；后者不能靠退避修复。服务端统一管理租户、公用模型额度、并发和队列，准入同时考虑请求与 token 预算，再按实际用量校准。可重试请求遵守有效 Retry-After，否则采用带抖动退避，同时限制总次数、截止时间和费用；SDK 与应用只能有受统一预算约束的重试。已经开始生成后断流，应查原运行状态而非再创建。排队界面要允许取消，长请求调度也要公平。

用成功任务成本检验优化

先拆输入输出、重复上下文、工具、升级和失败重试费用，削减无价值请求和无界输出，再评估路由降级。提示缓存复用稳定前缀的计算，并非复用旧答案；缓存资格、边界与价格依具体模型规则，稳定文字本身不保证命中。应用答案缓存另需权限隔离和新鲜度管理。比较时聚合同一任务的全部尝试与工具成本，并观察完成率、放弃率和长尾费用。自然追问未必代表失败，应结合用户纠错和人工抽样判断。

从灰度事故形成可验证修复

发现错误工具调用，先限制相关写能力，保留只读或人工路径，再沿真实执行记录检查候选参数、授权、确认摘要、执行和 UI 回执。模型选对工具而确认页漏掉附件，也属于安全缺陷。把脱敏失败与相邻、对抗变体加入回归，既检最终结果也检中间决策。达到预定门槛后小流量恢复，并保留快速回退配置；已发生的外部动作还需独立业务补救，改提示词不会撤销后果。日志按必要性脱敏及限期保存。

最小示例

javascript

function costPerSuccess(tasks) {
  let total = 0, success = 0;
  for (const task of tasks) {
    total += task.costs.reduce((sum, value) => sum + value, 0);
    if (task.status === 'succeeded') success++;
  }
  return { total, success, perSuccess: success ? total / success : null };
}
// 金额使用统一最小货币单位，示例均为虚构任务。
const result = costPerSuccess([
  { status: 'succeeded', costs: [2, 1] },
  { status: 'succeeded', costs: [4] },
  { status: 'failed', costs: [5, 3] }
]);
console.assert(result.total === 15 && result.perSuccess === 7.5);

输入假定为同一观察窗口、已去重且成本完整的任务记录。失败任务花费仍进分子，分母是达成预定义目标的任务数；全部失败返回 null，不伪装成零成本。正式账务还需整数精度、币种和账单延迟处理。示例不能替代质量、安全和延迟门槛。

核验：Node v24.19.0：失败成本纳入分子、成功任务分母及零成功返回null断言通过；不覆盖供应商真实账单与币种精度。

边界与取舍

边界

单次响应成功不等于用户任务完成；模型自评也不是独立真值。
有效 Retry-After 超出总截止时间时应延期或失败，不能截短后提前重试。
有限测试未发现事故不证明风险为零，灰度仍须设置严重错误止损规则。

取舍

轨迹细节利于定位，但采集正文增加隐私风险，应优先记录状态、版本和必要证据。
小模型路由及缓存可降低开销，但需可比任务分布和质量门禁，不能靠丢弃失败样本制造节省。

口述示范

我用同一任务轨迹连接体验、质量、安全和成本。发布先离线回归再灰度，限流统一管重试预算，费用按成功任务算。事故先关危险能力，再定位、补回归和验证恢复，业务补救另行处理。

章节练习

练习 1

用户反馈回答慢，服务端平均耗时正常。为一次问答设计最小观测方案和定位步骤。

展开检查点

区分心跳、正文到达与 UI 呈现，关联同一运行。
分层查看长尾、失败与取消；记录费用和版本，不默认保存正文。

新模型质量均分升高但偶发误发附件，同时高峰出现 429。写出止损与恢复门槛。