创建时间: 2026-08-05最后更新: 2026-08-05作者: yangbo(1f7c90a4b)
1. 流已经结束,账却不一定完整
AI 对话通常采用 SSE。客户端会不断收到文本片段,最后才收到完成事件和 usage。只要最后一个事件正常到达,计量并不困难;问题集中在连接提前结束的时候。
用户关闭页面后,浏览器连接会取消,但上游模型可能已经生成了更多 Token。中转站如果立即丢弃请求上下文,就拿不到最终 usage;如果继续在后台读取,又需要限制最长时间和资源占用。
因此,流式代理不能只是 return new Response(upstream.body)。它还要在转发数据的同时识别协议事件、保存最终用量,并把结算任务从客户端连接生命周期中分离出来。
订阅后可阅读剩余内容
AI 电子伴侣企业级项目实战
已发布239节计划发布120节目标已完成199%