模型管理操作指南
概述
本指南旨在帮助服务管理者了解和使用Bella-OpenAPI平台的模型管理功能。通过本文档,您将学会如何使用Web控制台和API接口来添加、配置和管理AI模型及其关联的渠道。
Bella-OpenAPI是一个多厂商AI服务统一接入平台,支持OpenAI、阿里云、火山引擎、AWS Bedrock等多种AI服务提供商。平台通过统一的接口规范和灵活的协议适配机制,为用户提供一致的AI服务体验。
核心概念
模型(Model)
模型是AI服务的核心实体,定义了AI模型的能力边界和基础属性,包含:
- 基础信息:模型名称、文档地址、所有者信息
- 状态控制:激活/停用、公开/私有状态
- 模型属性(Properties):模型本身的能力参数(如上下文长度、支持的语音类型等)
- 模型特性(Features):模型具备的AI能力开关(如流式输出、函数调用、视觉能力等)
- 端点关联:模型支持的API端点类型
- 所有者类型:system(系统级)、org(组织级)、person(个人级),org(组织级)目前暂未实现
- 所有者编号:system类型,统一为0;如果是person类型,则为用户id,比如ucid
重要区别:模型特性描述的是AI模型"能做什么",与具体服务商实现无关;而渠道特性描述的是服务商"怎么实现",与具体协议和技术实现相关。
渠道(Channel)
渠道是模型的具体服务实现,连接特定的AI服务供应商,包含:
- 服务配置:厂商协议、服务URL、认证信息
- 协议属性(Protocol Properties):服务商特定的技术实现参数
- 路由策略:优先级、数据流向、负载均衡
- 价格信息:调用成本配置
- 安全控制:访问权限、安全级别
- 所有者类型:system(系统级)、org(组织级)、person(个人级),org(组织级)目前暂未实现
- 所有者编号:system类型,统一为0;如果是person类型,则为用户id,比如ucid
渠道特性:描述具体服务商的API接口能力和技术实现细节,如是否支持StreamOptions参数、API版本要求等。
端点(Endpoint)
端点定义了不同类型的AI服务接口:
/v1/chat/completions
- 对话完成/v1/audio/speech
- 语音合成(TTS)/v1/audio/realtime
- 实时音频对话/v1/images/generations
- 图像生成/v1/embeddings
- 文本向量化
协议适配
平台支持多种厂商协议的统一接入:
- OpenAI协议 - OpenAI、火山引擎等
- 阿里云协议 - 阿里云通义千问
- AWS协议 - AWS Bedrock
- 自定义协议 - 支持扩展其他厂商
Web控制台操作指南
访问控制台
访问模型管理控制台:
https://your-domain/meta/console/model
创建模型
1. 进入创建页面
- 访问
https://your-domain/meta/console/model/create
- 或在模型列表页面点击"添加模型"按钮
2. 选择能力点
首先选择模型支持的端点类型:
- 对话完成 (
/v1/chat/completions
) - 支持文本对话、函数调用、视觉理解 - 语音合成 (
/v1/audio/speech
) - 文本转语音 - 实时音频 (
/v1/audio/realtime
) - 实时语音对话 - 图像生成 (
/v1/images/generations
) - 文本生成图像 - 文本向量化 (
/v1/embeddings
) - 文本转向量
重要提示:选择端点后,系统会自动加载对应的属性和特性配置表单
3. 填写基础信息
- 模型名称:全局唯一标识符,建议使用描述性名称
- 文档URL:模型的官方文档链接(可选)
- 所有者类型:模型的归属类型
system
:系统级,全平台共享,仅管理员可管理org
:组织级,组织内共享,组织管理员可管理person
:个人级,仅个人使用,个人用户可管理
- 所有者编码:所有者的唯一标识
- 所有者名称:所有者的显示名称
- 可见性:
public
:公开可见private
:私有访问protected
:受保护访问
4. 配置模型属性
模型属性定义了AI模型本身的能力参数,根据选择的端点显示相应配置项:
对话模型属性 (CompletionModelProperties) - 适用于 /v1/chat/completions
max_input_context
- 最大输入上下文长度(token数)max_output_context
- 最大输出上下文长度(token数)
语音模型属性 (VoiceProperties) - 适用于 /v1/audio/speech
和 /v1/audio/realtime
voiceTypes
- 支持的语音类型映射,格式为{"key": "voice_name"}
注意:目前系统中缺少以下端点的模型属性定义,这些将在后续版本中补充:
- EmbeddingProperties - 文本向量化模型属性
- ASRProperties - 语音识别模型属性
- ImagesProperties - 图像生成模型属性
5. 配置模型特性
模型特性定义了AI模型具备的功能能力,根据端点类型选择支持的特性:
对话模型特性 (CompletionModelFeatures) - 适用于 /v1/chat/completions
stream
- 是否支持流式输出function_call
- 是否支持函数调用stream_function_call
- 是否支持函数调用的流式输出parallel_tool_calls
- 是否支持并行工具调用vision
- 是否支持视觉理解json_format
- 是否支持JSON格式输出json_schema
- 是否支持JSON Schema输出reason_content
- 是否支持思考过程输出prompt_cache
- 是否支持提示词缓存
TTS模型特性 (TTSModelFeatures) - 适用于 /v1/audio/speech
stream
- 是否支持流式音频输出
图像模型特性 (ImagesModelFeatures) - 适用于 /v1/images/generations
highQuality
- 是否支持高质量生成multipleStyles
- 是否支持多种风格customSize
- 是否支持自定义尺寸
注意:以下端点的模型特性定义将在后续版本中补充:
- EmbeddingModelFeatures - 文本向量化模型特性
- ASRModelFeatures - 语音识别模型特性
6. 提交创建
点击"创建模型"按钮完成模型创建。成功后会 跳转到模型详情页面。
管理现有模型
1. 查看模型列表
在模型管理页面可以看到所有模型,支持按以下条件筛选:
- 端点类型
- 模型名称
- 供应商
- 状态(激活/停用)
- 可见性(公开/私有)
2. 编辑模型信息
在模型详情页面可以:
- 修改基础信息:直接点击字段进行在线编辑
- 更新属性配置:修改模型的协议属性
- 调整特性设置:开启或关闭功能特性
- 管理端点关联:添加或移除支持的端点
3. 状态控制
- 激活/停用模型:控制模型是否可用于服务
- 发布/取消发布:控制模型的公开可见性
- 软链接管理:设置模型别名或重定向
渠道管理
1. 查看模型渠道
在模型详情页面的"渠道列表"部分可以看到:
- 关联的所有渠道
- 渠道状态和优先级
- 服务商和协议信息
- 价格配置
2. 创建渠道
点击"添加渠道"按钮,填写以下信息:
- 渠道编码:唯一标识符
- 协议类型:选择支持的协议适配器
- 服务商:AI服务提供商名称
- 服务URL:API端点地址
- 优先级:high/normal/low
- 数据流向:inner/mainland/overseas/protected
3. 配置渠道信息
根据选择的协议类型,配置相应的渠道参数:
OpenAI协议配置
{
"auth": {
"type": "BEARER",
"apiKey": "your-api-key"
},
"deployName": "gpt-4",
"apiVersion": "2024-02-01",
"supportStreamOptions": true
}
阿里云协议配置
{
"auth": {
"type": "BEARER",
"apiKey": "your-api-key"
},
"deployName": "qwen-turbo"
}
AWS协议配置
{
"auth": {
"type": "IAM",
"apiKey": "access-key-id",
"secret": "secret-access-key"
},
"region": "us-east-1"
}