1. 延迟预算

这篇文章我们要讨论部署方案的选择

用户发出一条消息后，系统通常需要完成下面这些工作：

在流式输出场景中，用户最直接感受到的是首字节时间（TTFB），也就是从发送消息到看到第一个字出现的间隔。比较理想的等待时间是 1-2 秒；超过 3 秒，等待感会变得明显；超过 5 秒，用户很可能直接离开页面。

LLM 生成首个 Token 通常需要 500-2000ms，这部分时间很难由应用层直接压缩，因此留给安全检查、记忆检索、状态读取和 Prompt 组装的预算并不宽裕。如果一次网络往返就占用 300ms，整条链路几乎没有调整空间。

所以，部署架构要解决的问题很明确：既然 LLM 推理时间不可控，就要尽可能缩短其余环节，尤其是网络传输时间。最直接的办法，就是把计算放到离用户更近的位置