📌 📄 内容摘要:
Xiaojian Ji (@JidaDiao) 在 我这套硬件是不是哪里有瓶颈？ 中发帖
组了一套个人的炼丹服务器玩，但是有很多地方不是很明白，配置如下：
服务器配置
主机：超微 7048 准系统
CPU：Intel Xeon E5-2682 V4 * 2（32 核 64 线程，基础频率 2.5GHz）
内存：128GB DDR4 2400MHz 四通道
存储：1TB 闪迪固态硬盘
电源：2000W 单电源
显卡：双 Nvidia RTX 3090，支持 NVLink
操作系统：Ubuntu 22.04.5 LTS
运行情况
下面是我用ollama跑qwen2.5:74b的结果：
[image]
eval rate只有可怜的3.84 tokens/s
下面是显卡的使用情况：
[image]
两张显卡的显存几乎都已经吃满，但是显卡使用率仅为 14%，这是不是有点过低了？不知道这里是不是哪里瓶颈了，还是说这套方案确实就是这个水平。
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/388699/1
─────────────────────────────
📢 来源：LINUX DO
