📌 📄 内容摘要:
@frankyuan 在 模型有时会很快返回并且结果错误是什么原因？ 中发帖
同样的 prompt ，同样的环境(同一个 service ，没有重启。模型、机器相同，temperature=0 ，top_k=1)，大部分情况返回结果是正常的。但发现偶尔会发生返回结果不正常，并且返回比正常的速度要快，正常返回需要大概 5s ，不正常的返回大概 2s 。 请问有哪些因素会造成这种情况？ 是缓存还是其他的参数需要调整？先谢谢了。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/340975/1
─────────────────────────────
📢 来源：LINUX DO
