AI论坛 AI论坛 beta

龙骧 (@Todayhacker) 在 一个解决Google AI Studio当上下文过长以后一直在计算token无法继续进行新的对话的方法 中发帖

📌 📄 内容摘要: 龙骧 (@Todayhacker) 在 一个解决Google AI Studio当上下文过长以后一直在计算token无法继续进行新的对话的方法 中发帖 Google AI Studio是能够免费使用Gemini最新模型,以及进行Prompt调优的好平台。 按照Gemini的最大上下文吞吐量,理论上,对话长度可以达到可怕的100wtokens。 但是,实际使用过程中,当token到达10w量级的时候,就会经常出现一直在计算token,一直在加载,无法继续进行新的对话的情况,如下: [image] 楼主也是苦于这个问题久矣!因为进行这么长上下文的对话,这个对话已经对我情况、细节十分了解,每次回答也都非常贴切和满意,像一个私人辅助AI。突然没法用还是有点怅然若失。 之前的小骚招 虽然不能继续进行新的对话,但是可以不停地改最后一个Prompt,并重新运行最后一个Prompt,实现强行继续使用这个对话。 但这本质上只是临时使用,下一次使用时上一次使用的最后记录就会消失,也无法拓展上下文。 偶然得到的神奇解法 偶然的机会,楼主在查看上文...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1242414/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888