AI论坛 AI论坛 beta

@frondesce 在 Open WebUI插件:指定每个用户的上下文长度 中发帖

📌 📄 内容摘要: @frondesce 在 Open WebUI插件:指定每个用户的上下文长度 中发帖 在使用 OWI 的时候遇到不同的人需要分配不同的上下文长度。 比如说有的人不习惯一个问题新开一个话题,而是在同一个话题下一直问,就会导致上下文长度巨大,每次消耗的 token 数都是十几万。 之前使用官方的函数 Context Clip Filter 来限定上下文为 8 条信息。但对于熟练使用 AI 的人来说可能不太够。但这就是官方函数的局限性了。 因此开发了新的函数,原意是想根据不同的权限组来设置不同的 loop,但发现 OWI 后端传递 user 信息的时候不包含组别…只能根据用户 ID / email 地址来进行限定了。 设置界面如下: [image] 1:默认自大消息数,也就是包含 8 条消息。 2:是否每次都保留提示词,也就是第一条消息,这样可以保持同一个话题始终聚焦,推荐开启。 3:单独配置每个用户的最大上下文条数。写在这里的会按照配置进行,没有在这里的 ID...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1302381/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888