📌 📄 内容摘要:
大概是牛马 (@se2mix3) 在 Xinference 1.15.0.post1部署问题排雷 中发帖
前情提要
之前被暗害导致主机中部署的Xinference为cpu版本，运行embedding模型时无法选择GPU，因此打算重新部署Xinference GPU版本，公司主机上已经安装了Docker和Cuda，因此采用Docker容器方式部署Xinference。
部署步骤：
docker pull --platform linux/amd64 xprobe/xinference:v1.5.0.post1 拉取镜像一切正常。
docker save -o xinference.tar xprobe/xinference:v1.5.0.post1因为主机无法连接外网，所以只能愚公搬山。
经过漫长的上船之后，docker load -i xinference.tar 加载镜像
之前已经启动过了，也配置了相关挂载卷和模型，理论上来讲只要替换镜像名就可以了，okgo。
docker run -...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/586454/1
─────────────────────────────
📢 来源：LINUX DO
