AI应用可观测如果只盯模型API，会把大部分故障留在黑盒之外。用户看到一个错误答案，原因可能是Prompt版本变化、检索拿错文档、工具返回旧数据、权限过滤丢失，或模型本身异常。模型接口完全健康，不代表应用链健康。

选型应围绕一次业务请求能否跨Prompt、模型、检索、工具与结果追踪，同时控制敏感内容。本文不要求采用某种特定可观测技术，而是从定位任务、数据边界和运维动作判断方案是否适用。

先定义一次请求要跨过哪些跨度

一个典型AI请求可以包含入口与身份、Prompt组装、检索、模型调用、工具选择与执行、结果后处理和业务系统写入。不是每个应用都有全部环节，项目先画自己的链，避免为了指标齐全采集无关数据。

每个跨度至少需要名称、开始结束、状态、父子关系、应用与环境、版本和错误。Prompt、模型、知识与工具是AI应用特有的重要对象，业务结果则帮助判断技术成功是否真的完成任务。

异步工具或长任务可能跨越单次接口时间。可观测方案要保留任务与请求之间的关联，而不是到异步边界就中断。无法共享追踪标识时，也应能顺利获得任务ID和时间映射。

Prompt追踪重点在版本和组成，不是无边界存全文

Prompt往往由系统规则、用户输入、会话、检索片段和模板变量组成。只记录最终文本难以判断哪一部分变化，也增加敏感信息风险。更适合的方式是记录Prompt模板版本、组成来源、长度或摘要、关键策略和必要的受控原文位置。

选型要检查：能否比较版本；能否从一次请求找到使用的模板和变量；敏感字段能否脱敏；原文查看是否受限并审计；Prompt变化能否关联质量与错误。

Prompt可观测的目标是解释应用行为，而不是把所有用户内容复制到另一个系统。 数据最小化和诊断能力需要在设计阶段共同决定。

跨度地图把模型、检索和工具串起来

下图展示一次请求从Prompt经过模型、检索和工具到结果的跨度。阅读时沿父子关系查看状态和版本，定位哪个环节改变了输入、产生错误或延长时间。

模型跨度包含模型或服务、版本、调用状态、用量和必要延迟；检索跨度包含知识源、索引批次、候选与权限状态；工具跨度包含工具版本、动作、策略、目标和结果。业务跨度确认最终任务是否被用户或系统接受。

地图的价值是上下文关联。单个模型错误率、检索耗时或工具日志都可能正常，但串起来才能发现输入在环节间被截断、身份丢失或错误结果被继续使用。

工具链观测必须区分计划、调用和实际动作

Agent计划使用某工具，不等于工具实际执行。平台需要记录选择原因或可解释摘要、策略决定、调用参数摘要、工具返回和后续计划。对于写入动作，还要关联目标系统的业务状态。

超时是重点：平台看到超时，工具可能已经完成。如果只记录调用端错误，后续重试会造成重复。可观测方案应允许查询工具端状态或关联幂等标识，并把未知结果交给适当处置。

工具权限拒绝也要区别于系统错误。拒绝说明策略工作，系统错误说明服务问题；二者的告警和责任不同。全部归为“tool error”会浪费排障时间。

从用户投诉反向定位的四步

收到“回答不对”时，第一步确认应用、会话、用户权限和版本；第二步查看Prompt组成与检索候选；第三步检查模型和工具调用的状态与结果；第四步核对最终后处理和业务呈现。每一步都用同一请求或任务关联。

收到“流程卡住”时，先看当前跨度和最后状态，再判断在等待模型、工具、审批还是异步业务。告警应把值守人员带到最后一个可行动节点，而不是只给端到端超时。

收到“发生越权”时，从结果反查数据来源、身份传播、策略决定和工具目标。安全调查需要比普通性能排障更严格的证据保护和访问控制。

采样策略按风险和异常分层

全量保存所有内容可能成本高且有隐私风险，完全采样又会漏掉低频高风险事件。可以全量保留低敏元数据和错误状态，对内容按环境、风险、异常或业务同意采样。高风险工具调用即使低频，也应保留必要审计。

采样决定本身要可见。某次请求没有内容是因为策略未采集，还是采集失败，应能区分。否则调查人员会把空白误当成系统没有发生。

保留周期也按用途分层：实时排障、质量回归、安全审计和业务记录可能不同。具体期限由企业制度决定，平台应支持执行而非提供一个固定答案。

POC验证查询，而不是只看仪表盘

设计四个查询任务：从用户请求找到完整链；从错误工具找到受影响任务；从Prompt或模型版本找到质量变化；从安全事件找到身份、策略和目标。让应用、运维与安全人员分别执行，观察能否在合理路径内完成。

再制造一次检索失败、工具超时和版本变化，确认跨度状态、错误和业务结果正确关联。POC不必追求生产规模，但要保留真实链路和数据边界。

若候选方案需要与现有日志、指标或追踪系统集成，检查事件标识、时间和访问控制能否贯通。集成清单不等于查询真正可用。

可观测本身也有运行责任

采集器、存储、规则和查询若不可用，团队可能失去关键视野。需要监控采集延迟、丢失、成本和访问异常，并为关键事件设置降级策略。高风险Agent在审计完全不可用时是否继续执行，应由企业风险决定。

可观测平台顺利获得的标准，是不同角色能用它完成定位和处置，而不是数据量或仪表盘数量。

以一条完整链路做选型基线

选择一个包含检索和工具的代表应用，固定版本，完成正常、检索失败、工具超时和权限拒绝四个事件。相关AI治理与RAG主题可浏览 AI基础设施分类。结论列出可追踪跨度、敏感数据处理、查询能力和未覆盖边界。

若查询仍需多个系统拼接，应记录明确跳转和字段映射，让值守人员可以重复完成定位。

定位结论还应反馈到应用版本、告警规则和运行手册，形成可重复的处置路径，而不是结束在一次查询。

处置完成后应把根因、受影响版本和回归结果写回运行手册。

常见问题

只监控模型API为什么不够？

因为模型只是应用链的一段。Prompt可能组装错误，检索可能返回旧或越权内容，工具可能失败或重复执行，后处理也可能丢失结果。模型API成功只能证明调用完成，不能证明业务任务正确。

• 从用户请求关联Prompt模板与应用版本
• 查看检索知识源、索引批次和权限状态
• 关联工具选择、策略、执行与目标系统结果
• 将最终答案和业务状态回连到同一次任务

模型监控仍是必要基础，但AI应用选型要确认跨段上下文。缺少某段时，应明确由现有系统补齐以及如何关联。

还要从请求跨度、Prompt版本、检索上下文、工具事件和业务结果反向验证，且说明敏感内容如何脱敏与受限查看。

Prompt和工具参数能否完整写入日志？

不应默认完整记录。Prompt和工具参数可能含个人、客户、业务或凭据信息。企业应按用途最小化采集：保存模板版本、摘要、分类、长度和受控原文位置，敏感字段脱敏或不采集。

• 对开发、测试和生产设置不同采集策略
• 限制原文查看权限，并记录查询行为
• 高风险事件保留足以审计对象与动作的信息
• 明确保留、导出和删除规则

诊断需要更多细节时，可以顺利获得审批查看受控原始系统，而不是让可观测平台永久复制全部内容。

还要从请求跨度、Prompt版本、检索上下文、工具事件和业务结果反向验证，且说明敏感内容如何脱敏与受限查看。

AI应用可观测POC最少验证哪些链路？

至少验证一条从入口到最终结果的完整请求，并覆盖Prompt、模型、检索或工具中的实际关键环节。再加入一项版本变化和两类异常，例如检索失败、工具超时或权限拒绝。

让应用人员从用户反馈定位，运维从告警定位，安全从策略或越权事件定位。三类查询都能回到同一任务，且敏感内容受控，才说明方案具有生产价值。未包含的异步流程、更多工具或生产规模应列为后续范围。

POC还要验证查询结果如何进入工单或复盘，避免定位完成后无人跟进。

还要从请求跨度、Prompt版本、检索上下文、工具事件和业务结果反向验证，且说明敏感内容如何脱敏与受限查看。