[Performance] Add reusable compiled workflow plans for interactive requests

[ShuhaoZhangTony]

背景

Sage Mate 的复杂请求会动态构建并验证 SAGE workflow。真实验收中，完整请求约 149 秒，而直接模型请求通常约 0.5–7 秒。SAGE 需要把“声明 workflow”和“每次执行 workflow”分离，避免对结构等价的交互请求反复完成规划、编译、验证和资源绑定。

目标

为交互式 AI 请求提供可复用、可版本化、可观测的 compiled workflow plan，并支持仅对请求相关部分做增量绑定。

范围

• 定义稳定的 plan fingerprint：operator DAG、schema、策略版本、插件/模型 capability、知识检索契约和资源类别；不得包含会导致每个用户请求都 miss 的瞬态字段。
• 将 workflow construction 拆成 declaration、static validation、compile、runtime bind、execute 五个阶段。
• 缓存不可变 compiled plan；每次请求只绑定 trace、deadline、身份、输入、证据和取消 token。
• 支持 single-flight：并发 miss 只编译一次，其余请求等待同一结果。
• 定义失效条件、容量上限、LRU/TTL、版本升级和失败编译的负缓存策略。
• 暴露 build/compile/bind/execute 耗时与 hit/miss/eviction 指标。
• 保留动态 planner 的能力；仅在结构或 capability 真正变化时重规划。

与现有 issue 的关系

• 服务的编程依然比较麻烦 #1176 关注服务编程接口过于复杂；本 issue 提供可复用 plan 作为更高层 API 的运行时基础。
• Issue 8：补齐 flow run 生命周期中的边界场景处理，减少状态残留 #1492 负责 flow run 的取消、超时和清理；缓存 plan 不得持有 per-request 状态，执行实例必须服从该生命周期。
• Epic: SLO-aware LLM inference service system on SAGE #1506/SLO-aware scheduler, spillover, and admission control #1511 负责 SLO 感知调度；deadline 和优先级应在 runtime bind 阶段注入，不应改变静态 plan fingerprint。

非目标

• 不为某个 Sage Mate 问题硬编码 DAG。
• 不缓存用户数据、引用结果或取消 token。
• 不用跳过 validation 的方式制造 cache hit。

验收标准

• 提供 cold compile、warm hit、并发 single-flight、版本失效和失败恢复测试。
• 结构相同的 warm workflow：plan lookup + bind p95 ≤250ms；cold build + compile p95 ≤2s（不含 operator 执行与模型推理）。
• 20 个并发相同 fingerprint 请求最多触发一次 compile。
• 缓存命中与未命中产生语义等价的 operator 顺序、输出和错误传播。
• 完成/取消/超时后 plan 中不存在 request-scoped 引用，生命周期测试无残留。
• 提供 Sage Mate 集成基准，证明端到端阶段账本中 workflow construction 明显下降。

交付物

• typed plan/fingerprint/cache API。
• 指标、trace 字段和调试命令。
• 单元、并发、生命周期和 Sage Mate 集成测试。
• 迁移文档与一个不含业务硬编码的示例。

[ShuhaoZhangTony]

First implementation slice is available in draft PR #1530.

Delivered in this slice:

• typed, canonical, versioned structural fingerprint;
• bounded LRU/TTL and failure negative-cache behavior;
• 20-request single-flight compilation;
• cache hit/miss/wait/compile/failure/eviction metrics snapshot;
• explicit request-neutral bind boundary and lifecycle test proving request context is not retained;
• public sage.runtime API and migration example.

Validation: 21 changed-path/product-contract tests passed; Ruff and the release/tools boundary check passed. A local cache-overhead probe measured 0.041 ms cold and 0.002 ms warm lookup+bind p95 over 2,000 iterations. These numbers measure only the cache abstraction, not a real FlowNet DAG compile.

Remaining before this issue can close: connect an actual FlowNet compiler artifact, expose runtime telemetry, add real cold/warm DAG benchmarks, and integrate Sage Mate's workflow-construction ledger. The draft PR intentionally does not claim those are complete.

[ShuhaoZhangTony]

Completed and merged in #1530 (a2f21a8).

Final scope includes the typed cache plus real FlowDeclaration.compile_reusable() and bind_reusable() integration. Structural arguments participate in the fingerprint; request IO bindings remain outside the cached FlowProgram. The implementation includes LRU/TTL, negative-cache recovery, single-flight, metrics, explicit invalidation, documentation, and request-lifecycle tests.

Validation receipts:

• 24 changed-path, real Flow integration, and product-contract tests passed;
• 20 concurrent identical real Flow declarations produced one compiled FlowProgram;
• real minimal Flow benchmark: 0.202 ms cold compile and 0.037 ms warm lookup p95 over 2,000 iterations;
• Deployment Readiness, Install & Import Smoke, and all-subpackage Smoke passed;
• after merging and restarting Sage Mate against /home/shuhao/SAGE/src, the cross-stack grounded query completed in 1.791 s with 2 knowledge hits and 2 answer-basis items.