在Fast GPT中使用
本文以大模型服务中的DeepSeek-R1满血版为例,向用户介绍如何在FastGPT中添加并使用平台提供的模型服务。
背景
FastGPT是一个基于LLM大模型的开源AI知识库构建平台,专为简化复杂AI应用的创建而设计。该平台提供了开箱即用的数据处理、模型调用、RAG(检索增强生成)检索以及可视化AI工作流编排等功能,使用户无需深厚的技术背景即可快速搭建高效的AI系统
主要特点
- 可视化工作流编排:通过Flow模块,用户可以使用拖拽界面轻松设计复杂的问答流程,无需编程经验。
- 自动数据处理与RAG检索:提供自动化数据预处理、向量化和RAG技术,增强问答准确性及效率。
- 多模型支持:兼容多种大语言模型,并支持自定义向量模型的接入,增加了灵活性。
- 开源协议:遵循Apache License 2.0,允许 自由二次开发和发布,同时保持商业友好性.
- 便捷API集成:提供的API接口易于与其他系统如企业微信、飞书等集成,简化了应用对接过程.
前提条件
用户已下载并安装FastGPT(https://doc.tryfastgpt.ai/docs/development/docker/)。
- FastGPT 的模型配置方式在 4.8.20 以后发生变化,此文已 4.8.21 版本为例进行说明,具体请以官方文档(https://doc.tryfastgpt.ai/docs/development/modelconfig/intro/)为主。
操作步骤
获取访 问令牌
-
用户通过企业账户登录Alaya NeW官网,如下图所示。
-
选择[产品/大模型推理服务]菜单项,进入大模型推理服务概览页面。
-
在上述页面单击“立即开通API服务”按钮,进入API购买概览页面,在概览页面用户可查看DeepSeek大模型服务API的相关信息。
-
信息确认无误后,勾选“我已阅读并同意《用户协议》和《隐私政策》”选项,单击“立即支付”按钮,系统会打开新标签页。
-
在新的标签页用户可根据页面指引,如下图所示,完成订单支付。支付成功后,系统会跳转至订单管理页面,用户可查看对应的订单详情。
-
用户可通过如下方式创建API Key。创建完成后页面如下图所示。
-
用户点击[返回首页/产品/大模型推理服务]菜单项,进入访问令牌创建页面,单击“立即创建”按钮,即可创建专属API Key。
-
返回第3步的页面,页面会弹出[服务开通成功]提示窗口,在该窗口单击“创建”按钮,即可创建专属API Key。
该凭证将会发送到用户注册时提供的手机号码上。用户在后续的应用中,可以使用已获取的API Key来安全地调用DeepSeek大模型服务。
企业账户每个API Key每天至多支持调用1000次。
更新API Key
- 用户通过企业账户登录Alaya NeW官网,选择[产品/大模型推理服务]菜单项,进入大模型推理服务页面。
- 单击“更新”API Key按钮,系统会弹出更新提示,如果用户确认更新,单击“确定”按钮,即可获取新的API Key,此凭证将作为新的调用大模型服务的鉴权凭证。
- 如果用户丢失已生成的API Key,可参考获取访问令牌的“更新API Key”章节步骤获取新的鉴权凭证。
- 企业每个自然日仅可更新一次API Key,更新后,原有的API Key将失效。
配置模型
由于FastGPT通过集成OneAPI对接模型供应商,所以需要先在OneAPI中完成模型供应商的添加,再通过FastGPT完成模型配置。
-
访问FastGPT系统中提供的OneAPI地址,输入账户密码后登录。
-
点击渠道 > 添加新的渠道。
-
在弹出的窗口中,配置渠道信息,点击提交。
- 类型:选择自定义渠道。
- Base URL:在“输入自定义模型名称”中依次输入如下名称,点击填入即可:
- DeepSeek-R1
- deepseek-r1
- DeepSeek-R1-Lite
- 名称:用户自定义。
- 分组:选择默认default即可。
- 模型:在“输入自定义模型名称”中输入DeepSeek-R1,点击填入即可。
- 秘钥:用户在获取访问令牌操作中复制得到的完整 API 密钥,需根据实际情况进行修改。
-
返回渠道 界面,可点击测试按钮,对刚添加的渠道进行访问测试,若显示测试成功则表示配置正确。
配置FastGPT
延续上述步骤,完成FastGPT配置。
-
访问FastGPT系统中提供的登录地址,输入账号密码后登录。
-
在系统界面中,点击账号 > 模型提供商 > 模型配置。
-
在模型配置页面,点击新增模型,选择语言模型,在弹出的模型参数编辑页面,配置各项参数,点击确认。
- 模型 ID:本实践为DeepSeek-R1,需与前文中在OneAPI中添加的模型名称保持一致。
- 模型供应商:选择其他。
- 别名:用户自定义,针对当前模型的其他名称。
-
在模型配置页面,点击新增模型,选择索引模型,在弹出的模型参数编辑页面,配置各项参数,点击确认。
- 模型 ID:本实践为DeepSeek-R1,需与前文中在OneAPI中添加的模型名称保持一致。
- 模型供应商:选择其他。
- 别名:用户自定义,针对当前模型的其他名称。
-
在模型配置页面,点击新增模型,选择重排模型,在弹出的模型参数编辑页面,配置各项参数,点击确认。
- 模型 ID:本实践为DeepSeek-R1,需与前文中在OneAPI中添加的模型名称保持一致。
- 模型供应商:选择其他。
- 别名:用户自定义,针对当前模型的其他名称。
-
选择可用模型页签,即可查看到上述步骤添加的模型,已显示在列。
创建知识库
-
延续上述操作,在左侧导航栏选择知识库,点击创建按钮,选择通用知识库。
-
在弹出的创建知识库窗口中,选择前文中添加的索引模型,点击确认创建。
-
在新建的知识库页面,点击右上角的新建/导入,选择文本数据集。
-
在弹出的文件上传窗口中,勾选数据来源,本实践选择本地文件,点击确认。
-
进入选择文件步骤,将文件上传或拖拽之指定区域,等待文档上传进度完成,点击下一步。
-
进入数据处理步骤,用户可根据实际需要配置各项参数或保持默认,点击下一步。
-
进入确认上传步骤,点击开始上传,并等待索引完成即可。
-
点击已上传并索引完成的文档名称,即可查看其分段详情。