实测对比:
| 指标 | 之前 | 现在 | 提升 |
|---|---|---|---|
| 首 token(流式) | ~4.5s | 2.18s | 快约 52% |
| 完整响应 | ~8s+ | ~4.1s | 快约 49% |
原因:修复了会话缓存命中(复用对话而不是每轮新建)、去掉重复重试,以及流式首帧直接下发。
方法:
连接池回滚:微软官方的那种复用 WebSocket 连接的方式,触发 502 后已回退成每请求新连接,少了超时重试的等待。
会话复用:多轮请求复用同一条云端对话,不需要每次重建上下文。
流式透传:修复了分类逻辑,文本直接在首帧就发出去(之前被当作 progress 卡住)。
实际感觉快了2倍左右,和正常api请求差不多了 ![]()
现在已经推送,快去试试吧!
————————————————
8.13(已归档该话题)
如果出现问题,请更新,如果仍然失败,请自己排查(建议使用ai),还有真的排查出问题请去反馈专贴,如果可以的话提供解决方法。
本贴作为更新记录,评论区我不会再进行回答和查看了。
感谢理解