Skip to content

大模型接入

用户可以接入大模型,我们以接入通义千问模型为例

  1. 首先到阿里云百炼大模型服务平台(通义千问是阿里云旗下模型,百炼是其服务平台)获取API Keyalt text
  2. 根据通义千问的API文档找到调用模型的接口 alt text
  3. 女娲智能体平台点击组件库,找到组件,点击创建模型
    • 模型名称:可以按照需求给模型命名
    • 模型标识:这是模型的唯一标识,在一些模型的API文档中也通常称为模型名,如,qwq-plus、qwen-max、qwen-turbo等
    • 模型介绍:可简单描述模型特点
    • 模型类型:可根据模型选择聊天对话-纯文本聊天对话-多模态向量嵌入
    • 推理模型:根据模型特点选择是否是推理模型
    • 最大输出token数:模型在一次生成回答时,所能输出的最大 token 数量上限。通常 100 token约等于150个中文汉字。
    • 函数调用支持:是指模型通过特定的格式(通常是结构化的 JSON)生成指令,调用外部工具、API 接口或自定义函数,以获取信息、执行操作或完成复杂任务的能力。可以设置为支持普通函数调用支持流式函数调用不支持函数调用
    • 接口协议:平台提供市面上流行的接口协议,如,OpenAIOllamaAnthropic
    • 接口配置
      • URL:大模型的请求接口,可以通过阅读模型API文档获取
      • API KEY:通过模型平台获取
      • 权重:当接口配置多个大模型时,权重值设置越大调用的概率越高 alt text
  4. 测试新增的千问MAX模型alt text