📌 📄 内容摘要:
云水闲 (@ShuiXian) 在 求给大模型喂长文本的解决办法 中发帖
最近使用Repomix对项目进行打包,拿到的文件寻思喂给大模型来着.
我看了一下打包的文件,根据我的小项目来说,打包后的文件大概是在300k的tokens 🙃.
这个token的长度大概只有谷歌家那个1M的模型才能吃得下了. 如果我换个时间长一点的项目,甚至会有2M-3M左右的token量, 感觉还是得长文本分割, 但是分割之后又会丢信息 , 让整个项目的信息都碎片化了 😭
大家有没有什么想法
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/505893/1
─────────────────────────────
📢 来源：LINUX DO
