📌 📄 内容摘要:
@theluyuan 在 ktransformers无法生成回答 中发帖
启动命令
python ktransformers/server/main.py --model_path /root/DeepSeek-R1-0528-Q4_K_M --gguf_path /root/DeepSeek-R1-0528-Q4_K_M/Q4_K_M/ --cpu_infer 62 --optimize_config_path ktransformers/optimize/optimize_rules/DeepSeek-V3-Chat-serve.yaml --port 10002 --chunk_size 256 --max_new_tokens 4096 --max_batch_size 4 --port 10002 --cache_lens 13000 --backend_type balance_serve --architectures DeepseekV3For...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/884815/1
─────────────────────────────
📢 来源：LINUX DO
