📌 📄 内容摘要:
@josenlou 在 究竟是哪种编程语言的 token 效率最高？ 中发帖
根据这篇文章，作者指出LLM最大的限制之一是上下文长度，在现在的transformer架构下，较长的上下文窗口会显著增加内存使用。不过当前世界正陷入内存短缺的情况下。
因此在这种状况下，编程语言的“Token效率”到底有多高可能就会产生巨大的差异。
作者利用Claude Code环境以及Hugging Face 的 Xenova/gpt-4 分词器（OpenAI GPT4 同款），来进行RosettaCode的编译任务。RosettaCode算是编程百科，里面有很多编程任务可以选择！
最后的结果如下：
[IMG_5062]
前五名分别是Clojure、Julia、Ruby、Perl以及Python！
而最后三名是C、C++以及C#！
不知道这样的结果是不是在大家的预期之内呢？欢迎一起讨论一下！
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1436259/1
─────────────────────────────
📢 来源：LINUX DO
