📌 📄 内容摘要:
浪里小白条 (@hashnode) 在 关于AICNN的token计算代码，以及回应 中发帖
talk is cheap show me the code.
代码里面没有秘密
针对佬友们对token计算的质疑，这里贴出计算代码
网站做的比较早，GPT刚出的时候就做了，那时候大部分人还不知道token是什么概念，所以取的字(实际计算的是token)，也就将字一直延续至今，那时候也没什么token计算工具，所以用的langchain4j计算token
token计算的代码如下
具体版本
[image]
OpenAiTokenizer
[image]
[image]
[image]
为了应对deepseek的并发这里用的硅基的prokey(为什么不用deepseek官网的，因为最近官网太火爆，响应慢，影响体验，故未用)，以及我们公司的某某云部署的满血r1(当然不是白嫖，我也是自掏腰包的），公司的云环境为了防止思考过长，至于为什么截断，我也不清楚，可能是有一个回...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/426483/1
─────────────────────────────
📢 来源：LINUX DO
