📌 📄 内容摘要:
cnm 在 groq 负载均衡问题 中发帖
[image]
[image]
如题，众所周知，groq推理巨快，其中有90b模型的模型，性能还可以，便想加入pro-api（来自 @duolabmeng6 ）做负载均衡，结果给我整麻了。。。
红温
初始化的Balance名称: sk-vMn1xxxxxxxxxxx
初始化的提供者: ['groq1', 'groq2']
初始化的权重: {'groq1': 1, 'groq2': 1}
provider: {'name': 'groq1', 'provider': 'openai', 'mapped_model': 'gemma2-9b-it', 'original_model': 'gemma2-9b-it', 'base_url': 'https://api.groq.com/openai/v1', 'api_key': 'gsk_ixxxxxxxxxxxxxxxxxxxxx...
────────── 链接信息 ──────────
🔗 论坛链接: linux.do
📎 访问地址: https://linux.do/t/topic/257845/1
─────────────────────────────
📢 来源：LINUX DO
