大模型接入
用户可以接入大模型,我们以接入通义千问模型为例
- 首先到阿里云百炼大模型服务平台(通义千问是阿里云旗下模型,百炼是其服务平台)获取API Key
- 根据通义千问的API文档找到调用模型的接口
- 在女娲智能体平台点击组件库,找到组件,点击创建模型
- 模型名称:可以按照需求给模型命名
- 模型标识:这是模型的唯一标识,在一些模型的API文档中也通常称为模型名,如,qwq-plus、qwen-max、qwen-turbo等
- 模型介绍:可简单描述模型特点
- 模型类型:可根据模型选择聊天对话-纯文本、聊天对话-多模态和向量嵌入
- 推理模型:根据模型特点选择是否是推理模型
- 最大输出token数:模型在一次生成回答时,所能输出的最大 token 数量上限。通常 100 token约等于150个中文汉字。
- 函数调用支持:是指模型通过特定的格式(通常是结构化的 JSON)生成指令,调用外部工具、API 接口或自定义函数,以获取信息、执行操作或完成复杂任务的能力。可以设置为支持普通函数调用、支持流式函数调用和不支持函数调用
- 接口协议:平台提供市面上流行的接口协议,如,OpenAI、Ollama、Anthropic等
- 接口配置:
- URL:大模型的请求接口,可以通过阅读模型API文档获取
- API KEY:通过模型平台获取
- 权重:当接口配置多个大模型时,权重值设置越大调用的概率越高
- 测试新增的千问MAX模型