📌 📄 内容摘要:
哈哈 (@stupidfish) 在 如何调用langchain对LLM进行token直接进行外推 中发帖
问题
众所周知，LLM是对user和system的prompt进行预测
那么比较有意思的是，那能不能让LLM生成完某一个段后立刻中止掉呢？
换个问题
能不能调用langchain更底层的api让LLM直接对token进行外推
这样就能得到非常稳定可控的续写能力
从抽象的意义上讲，也算是让人和LLM能真正的流式交互。
反正原理是这么个原理，但是langchain和网上对这个介绍几乎为0，这也是我想咨询各位大佬的问题：有没有对应的langchain API，能直接调用LLM 外推tokens的能力 🙁
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/393416/1
─────────────────────────────
📢 来源：LINUX DO
