跳到主要内容

在Fast GPT中使用

本文以大模型服务中的DeepSeek-R1满血版为例,向用户介绍如何在FastGPT中添加并使用平台提供的模型服务。

背景

FastGPT是一个基于LLM大模型的开源AI知识库构建平台,专为简化复杂AI应用的创建而设计。该平台提供了开箱即用的数据处理、模型调用、RAG(检索增强生成)检索以及可视化AI工作流编排等功能,使用户无需深厚的技术背景即可快速搭建高效的AI系统

63

主要特点

  • 可视化工作流编排:通过Flow模块,用户可以使用拖拽界面轻松设计复杂的问答流程,无需编程经验。
  • 自动数据处理与RAG检索:提供自动化数据预处理、向量化和RAG技术,增强问答准确性及效率。
  • 多模型支持:兼容多种大语言模型,并支持自定义向量模型的接入,增加了灵活性。
  • 开源协议:遵循Apache License 2.0,允许自由二次开发和发布,同时保持商业友好性.
  • 便捷API集成:提供的API接口易于与其他系统如企业微信、飞书等集成,简化了应用对接过程.

前提条件

用户已下载并安装FastGPT(https://doc.tryfastgpt.ai/docs/development/docker/)。

提示

操作步骤

获取访问令牌

  1. 用户通过企业账户登录Alaya NeW官网,如下图所示。

    注册2

  2. 选择[产品/大模型推理服务]菜单项,进入大模型推理服务概览页面。

  3. 在上述页面单击“立即开通API服务”按钮,进入API购买概览页面,在概览页面用户可查看DeepSeek大模型服务API的相关信息。

    注册3

  4. 信息确认无误后,勾选“我已阅读并同意《用户协议》和《隐私政策》”选项,单击“立即支付”按钮,系统会打开新标签页。

  5. 在新的标签页用户可根据页面指引,如下图所示,完成订单支付。支付成功后,系统会跳转至订单管理页面,用户可查看对应的订单详情。

    注册4

  6. 用户可通过如下方式创建API Key。创建完成后页面如下图所示。

  • 用户点击[返回首页/产品/大模型推理服务]菜单项,进入访问令牌创建页面,单击“立即创建”按钮,即可创建专属API Key。

  • 返回第3步的页面,页面会弹出[服务开通成功]提示窗口,在该窗口单击“创建”按钮,即可创建专属API Key。

    注册4

该凭证将会发送到用户注册时提供的手机号码上。用户在后续的应用中,可以使用已获取的API Key来安全地调用DeepSeek大模型服务。

重要

企业账户每个API Key每天至多支持调用1000次。

更新API Key

  1. 用户通过企业账户登录Alaya NeW官网,选择[产品/大模型推理服务]菜单项,进入大模型推理服务页面。
  2. 单击“更新”API Key按钮,系统会弹出更新提示,如果用户确认更新,单击“确定”按钮,即可获取新的API Key,此凭证将作为新的调用大模型服务的鉴权凭证。
提示
  • 如果用户丢失已生成的API Key,可参考获取访问令牌的“更新API Key”章节步骤获取新的鉴权凭证。
  • 企业每个自然日仅可更新一次API Key,更新后,原有的API Key将失效。

配置模型

由于FastGPT通过集成OneAPI对接模型供应商,所以需要先在OneAPI中完成模型供应商的添加,再通过FastGPT完成模型配置。

  1. 访问FastGPT系统中提供的OneAPI地址,输入账户密码后登录。

  2. 点击渠道 > 添加新的渠道。

    64

  3. 在弹出的窗口中,配置渠道信息,点击提交。

    65

  • 类型:选择自定义渠道。
  • Base URL:在“输入自定义模型名称”中依次输入如下名称,点击填入即可:
    • DeepSeek-R1
    • deepseek-r1
    • DeepSeek-R1-Lite
  • 名称:用户自定义。
  • 分组:选择默认default即可。
  • 模型:在“输入自定义模型名称”中输入DeepSeek-R1,点击填入即可。
  • 秘钥:用户在获取访问令牌操作中复制得到的完整 API 密钥,需根据实际情况进行修改。
  1. 返回渠道界面,可点击测试按钮,对刚添加的渠道进行访问测试,若显示测试成功则表示配置正确。

    66

配置FastGPT

延续上述步骤,完成FastGPT配置。

  1. 访问FastGPT系统中提供的登录地址,输入账号密码后登录。

  2. 在系统界面中,点击账号 > 模型提供商 > 模型配置。

    67

  3. 在模型配置页面,点击新增模型,选择语言模型,在弹出的模型参数编辑页面,配置各项参数,点击确认。

    68

  • 模型 ID:本实践为DeepSeek-R1,需与前文中在OneAPI中添加的模型名称保持一致。
  • 模型供应商:选择其他。
  • 别名:用户自定义,针对当前模型的其他名称。
  1. 在模型配置页面,点击新增模型,选择索引模型,在弹出的模型参数编辑页面,配置各项参数,点击确认。

    68

  • 模型 ID:本实践为DeepSeek-R1,需与前文中在OneAPI中添加的模型名称保持一致。
  • 模型供应商:选择其他。
  • 别名:用户自定义,针对当前模型的其他名称。
  1. 在模型配置页面,点击新增模型,选择重排模型,在弹出的模型参数编辑页面,配置各项参数,点击确认。

    68

  • 模型 ID:本实践为DeepSeek-R1,需与前文中在OneAPI中添加的模型名称保持一致。
  • 模型供应商:选择其他。
  • 别名:用户自定义,针对当前模型的其他名称。
  1. 选择可用模型页签,即可查看到上述步骤添加的模型,已显示在列。

    69

创建知识库

  1. 延续上述操作,在左侧导航栏选择知识库,点击创建按钮,选择通用知识库。

    69

  2. 在弹出的创建知识库窗口中,选择前文中添加的索引模型,点击确认创建。

    69

  3. 在新建的知识库页面,点击右上角的新建/导入,选择文本数据集。

    69

  4. 在弹出的文件上传窗口中,勾选数据来源,本实践选择本地文件,点击确认。

    69

  5. 进入选择文件步骤,将文件上传或拖拽之指定区域,等待文档上传进度完成,点击下一步。

    69

  6. 进入数据处理步骤,用户可根据实际需要配置各项参数或保持默认,点击下一步。

    69

  7. 进入确认上传步骤,点击开始上传,并等待索引完成即可。

    69

  8. 点击已上传并索引完成的文档名称,即可查看其分段详情。

    69