M365 Copilot2API重磅更新🚀,请求响应速度加快50%!

实测对比:

指标 之前 现在 提升
首 token(流式) ~4.5s 2.18s 快约 52%
完整响应 ~8s+ ~4.1s 快约 49%

原因:修复了会话缓存命中(复用对话而不是每轮新建)、去掉重复重试,以及流式首帧直接下发。

方法
连接池回滚:微软官方的那种复用 WebSocket 连接的方式,触发 502 后已回退成每请求新连接,少了超时重试的等待。
会话复用:多轮请求复用同一条云端对话,不需要每次重建上下文。
流式透传:修复了分类逻辑,文本直接在首帧就发出去(之前被当作 progress 卡住)。
实际感觉快了2倍左右,和正常api请求差不多了 :ac01:
现在已经推送,快去试试吧!

————————————————

8.13(已归档该话题)

如果出现问题,请更新,如果仍然失败,请自己排查(建议使用ai),还有真的排查出问题请去反馈专贴,如果可以的话提供解决方法。

本贴作为更新记录,评论区我不会再进行回答和查看了。

感谢理解

24 个赞

牛的,秒吃

感谢:folded_hands:t2:更新。

大佬牛逼,我去体验下。

感谢分享

感谢大佬,周末还更新,辛苦辛苦! 另外想问问大家,要搞几个号用才能爽登?一个号多少额度呢

部署了

感谢分享

这个还真不知道,貌似根本没有蹬到一个号限额啊。:ac01:

可能蹬封号了才是限额吧?

大佬牛逼,马上去尝试 :xhj002:

能把链接发给我吗?我想试试。

诶,忘贴链接了哈,感谢提醒:innocent:

1 个赞

美美得吃

已更新。感谢分享

感觉分享

可惜这个模型juice值太低了

这个有juice值吗?

我记得不是openai 才有的吧?这个是ms azue自部署的好像 :xhj001:

感谢分享

看起来不错,这就去试试

点了一下首次隐藏设置什么的之后就再也看不到那个页面了