📌 📄 内容摘要:
zhixin chen (@SYNTAX0XA) 在 大语言模型采样参数 中发帖
模型采样参数
在使用 cherryStuidio 这类软件时，我们经常看到 Temperature 之类的可配置参数。我们可以调整这些参数来调整大语言模型的输出，其本质是通过调整模型的概率分布的采样策略。
我们以经典的 SoftMax 为例。
p_i = \frac{e^{z_i}}{\sum_{j=1}^{k}e^{z_j}}
Temperature
Temperature 参数控制模型输出的随机性。
其原理是引用了参数 T > 0，改写 SoftMax 为
p_i = \frac{e^{\frac{z_i}{T}}}{\sum_{j=1}^{k}e^{\frac{z_j}{T}}}
[08yCAgybFOPu]
当 T 变小时，分布更加陡峭，高概率 token 的权重优势放大，模型偏向生成更确定的内容。
当 T 变大时，分布跟加平缓，高概率 token 的权重优势被...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1924492/1
─────────────────────────────
📢 来源：LINUX DO
