📌 📄 内容摘要:
巳巳如意 (@sevenold) 在 模型输出一致性 中发帖
模型输出一致性问题
vlm_model = “qwen-vl-max”
目前有什么办法能一定程度上保证同样的数据,在每次运行的时候输出的结果都是”高度可复现“的?
OpenAI 官方文档:temperature=0 + seed 只能“高度可复现”;在极少数情况下仍可能出现 1-2 token 的差异。
暂不考虑落盘缓存的方案
result = await client.chat.completions.parse(
model=vlm_model,
messages=query,
temperature=0,
max_tokens=200,
top_p=1,
seed=42,
response_format=Ana...
────────── 链接信息 ────────── 🔗 论坛链接: linux.do 📎 访问地址: https://linux.do/t/topic/847862/1 ─────────────────────────────
📢 来源:LINUX DO