📌 📄 内容摘要:
@Derican 在 针对长文本结构化任务，有没有好的加速方法？ 中发帖
现在的任务是从输入的试卷文本中切割出题目，由于不能假设用户上传的格式，所以写了个4k token的prompt来把各种题型和复杂情况讲清楚，现在质量是有保证，但是反馈说处理太慢了，因为要把用户输入全部塞给LLM。
和AI讨论了一下除了分片并行处理聚合之外好像没有什么别的trick了，佬友们有什么新点子吗 🥲
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1829810/1
─────────────────────────────
📢 来源：LINUX DO
