AI论坛 AI论坛 beta

@Piscesbody 在 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 中发帖

📌 📄 内容摘要: @Piscesbody 在 [Qwen3.6]27B-FP8 VLLM本地部署主观个人测评 中发帖 硬件配置 组件 规格 CPU Intel i5-13600K GPU RTX 4090 48G + RTX 4070Ti 12G 内存 DDR4-3600 128G (4x32G) 主板 华硕 Z690-P D4 系统 Windows 11 LTSC WSL Ubuntu 22.04 VLLM版本:0.19.1 部署指令: uv venv vllm-env --python 3.12 --seed --managed-python source vllm-env/bin/activate uv pip install vllm --torch-backend=auto 启动参数: vllm serve /root/LLM/Qwen3.6-27B-FP8 --host 0.0.0.0 --port 8000 --tensor-parall...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/2042014/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888