Add modelscope support

This commit is contained in:
liuyongbin
2025-12-11 15:47:34 +08:00
parent 86cadd5f0d
commit dc04bcf8c5

View File

@@ -91,6 +91,30 @@ adb devices
### 3. 启动模型服务
你可以选择自行部署模型服务,或使用第三方模型服务商。
#### 选项 A: 使用第三方模型服务
如果你不想自行部署模型,可以使用以下已部署我们模型的第三方服务:
**1. ModelScope魔搭社区**
- 文档: https://modelscope.cn/models/ZhipuAI/AutoGLM-Phone-9B
- `--base-url`: `https://api-inference.modelscope.cn/v1`
- `--model`: `ZhipuAI/AutoGLM-Phone-9B`
- `--apikey`: 在 ModelScope 平台申请你的 API Key
使用第三方服务的示例:
```bash
# 使用 ModelScope
python main.py --base-url https://api-inference.modelscope.cn/v1 --model "ZhipuAI/AutoGLM-Phone-9B" --apikey "your-modelscope-api-key" "打开美团搜索附近的火锅店"
```
#### 选项 B: 自行部署模型
如果你希望在本地或自己的服务器上部署模型:
1. 按照 `requirements.txt` 中 `For Model Deployment` 章节自行安装推理引擎框架。
对于SGLang 除了使用pip安装你也可以使用官方docker: