📌 📄 内容摘要:
浪里小白条 (@hashnode) 在 关于token计算的调研和调整 中发帖
经过最近的调研，本篇从四个角度，验证在springboot中计算token的方法。分别从按字符数、langchain4j，以及某网页的计算token结果进行分析。
测试环境:
Java 21
SpringBoot 3.0.13
操作系统：Mac
所用的计算token库
langchain4j 0.30.0
jtokkit 0.4.14
以及字符计算方法
测试用例:
[image]
先附上测试结果:
openai官方返回的token数：33
langchain4j计算出来的token数：40 约比官方返回的多出21%
JTokkit计算出来的token数：36 约比官方返回的多出9%
计算字符数得到的token数：67 约比官方返回的多出103%
[image]
某在线网站的测试结果（ 约比官方返回的多出103%）：
[...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/431389/1
─────────────────────────────
📢 来源：LINUX DO
