📌 📄 内容摘要:
@seldoms 在 dify接入第三方api报错求救 中发帖
目的：通过dify调用本地部署的大语言模型
过程：通过GitHub - huggingface/text-generation-inference: Large Language Model Text Generation Inference
docker run --gpus all --shm-size 1g -p 8088:80 \
-v /data:/data \
-e HUGGING_FACE_HUB_TOKEN=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 \
ghcr.io/huggingface/text-generation-inference:latest \
--model-id ystemsrx/Qwen2-Boundless
运行抱抱脸的https://huggingface.co/ystemsrx/Qwen2...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/655747/1
─────────────────────────────
📢 来源：LINUX DO
