AI论坛 AI论坛 beta

milkhulu (@one_max) 在 本地部署的大模型,如果想快速多人同时并发运行,需要怎么配置? 中发帖

📌 📄 内容摘要: milkhulu (@one_max) 在 本地部署的大模型,如果想快速多人同时并发运行,需要怎么配置? 中发帖 目前本地在mac mini上已完成本地部署,知识库也已经搭建,回答提问大约时间在1分30秒左右,而且只是单人使用,各位佬,知道什么样的配置,能多人并发快速响应运行知识问答嘛? 10W能不能搞定?
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/924612/1
─────────────────────────────
📢 来源:LINUX DO

你好啊,陌生人!

我的朋友,看起来你是新来的,如果想参与到讨论中,点击下面的按钮!

每日一言

AI论坛

帖子数 659811
评论数 8888
用户数 88888
在线用户 8888