📌 📄 内容摘要:
dj-1 (@chuichuihan) 在 api中转(new/one-api)计算token的是使用什么方式？ 中发帖
最近在写一个api中转程序，因为对接的渠道api有tokens限制，我已经提过了，但是还是有人动不动提交几十万token(gemini级别的)请求，然后拿着报错问我什么情况，之后我想不如自己来写吧，搓了一个自动清除超出上下文的处理，之后就遇到一个问题，怎么去计算不同模型的token？因为不同模型他的分词器似乎还不同，我目前是使用gpt-tokenizer来固定计算，还有什么更好的处理吗？
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/694429/1
─────────────────────────────
📢 来源：LINUX DO
