📌 📄 内容摘要:
@aimaster 在 LLM如何做端云融合的？ 中发帖
电车新势力还有国产手机厂商都在主打本地AI，想请教下有什么技术可以融合设备端的LLM推理和云端的LLM推理？
我理解设备端，哪怕是汽车上，也不可能跑全血的deepseek或者 Qwen（量化版本性能又会下降）。 那么问题就是，现在的这些厂商如何根据用户query判断是调用本地LLM还是云端的LLM？
或者还会有别的技术可以做到LLM推理的端云融合？
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/1068570/1
─────────────────────────────
📢 来源：LINUX DO
