📌 📄 内容摘要:
samzong 在 咨询下大家都是用什么工具去做模型量化 ？什么量化方式的质量比较好 中发帖
最近在玩 deepseek， 突然想找一款能力把 fp16 ，量化到 fp8,int8,int4 的工具
在 github 上翻了一圈，发现了 GitHub - ModelTC/llmc: [EMNLP 2024 Industry Track] This is the official PyTorch implementation of "LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit". 感觉是国内人搞的
想问问各位佬都是用什么方式来量化
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/412553/1
─────────────────────────────
📢 来源：LINUX DO
