📌 📄 内容摘要:
Josen (@josenlou) 在 关于省token的话题，好像很少人提到LLMLingua-2? 中发帖
在使用AI模型的过程中
toekn就等于是真金白银花出去的花费
目前我看到蛮多人提到这个问题的时候会使用TOON]
但这个格式比较适合表格化的数据
例如
{
“team”: [
{“id”: 1, “name”: “001”, “role”: “title01”},
{“id”: 2, “name”: “002”, “role”: “title02”},
{“id”: 3, “name”: “003”, “role”: “title03”}
]
}
将其改用TOON格式 呈现是如下
team[3]{id,name,role}:
1,001,title01
2,002,title02
3,003,title03
Token花费减少了近4成，但准确率几乎一致
但问题是这格式比较适合已经数据化的格式或表单内容
如果针对非格式化内容 我们可以考虑微软的LLML...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1351456/1
─────────────────────────────
📢 来源：LINUX DO
