跳到主要内容

在AnythingLLM中使用

本文以大模型服务中的DeepSeek-R1满血版为例，向用户介绍如何在 AnythingLLM 中调用相应模型，部署自己的 AI 应用。

背景​

AnythingLLM 是由 Mintplex Labs Inc. 开发的开源工具，专为构建私有化智能知识库设计。集成了检索增强生成（RAG）和AI代理等功能。用户无需编写代码或担忧复杂的基础设施设置，同时支持多种文档类型，并能与不同的大型语言模型集成，确保数据安全和隐私保护的同时，提供高效的问答和知识管理功能。

19

主要特点

  • 多文档类型支持：能够处理包括PDF、TXT、DOCX在内的多种文档格式，便于用户上传和整合多样化的资料。
  • 多种部署方式：支持云端、本地和自托管部署。
  • 模块化架构：高度灵活的设计，让用户可以根据需要选择不同的语言模型、嵌入器和向量数据库，满足个性化需求。
  • 权限管理：提供灵活的用户权限设置，允许控制谁可以查看或编辑特定内容，确保数据的安全性和隐私保护。

前提​

用户已经获取Alaya New企业账户和密码，如果需要帮助或尚未注册，可参考账户注册完成注册。

操作步骤​

获取访问令牌​

目前系统支持两类DeepSeek接口，用户可根据业务需求选择购买API，开通DeepSeek API的详细操作步骤如下所示。

开通体验版DeepSeek API服务​

用户首次开通DeepSeek大模型推理服务时，可选择该类型的API，开通步骤如下所示。

  1. 用户通过企业账户登录Alaya NeW官网，如下图所示。

    注册2

  2. 选择[产品/大模型推理服务]菜单项，进入大模型推理服务概览页面。

  3. 在上述页面单击“立即开通API服务”按钮，进入API购买概览页面，选择“DeepSeek API体验版”产品，在产品概览页面用户可查看大模型推理服务API的相关信息。

    注册3

注意

如果用户勾选了“到期后自动开通基础版，按量计费”选项，则体验版API 30天到期后，基础版API开始生效。

  1. 信息确认无误后，勾选“我已阅读并同意《用户协议》和《隐私政策》”选项，单击“立即支付”按钮，系统会打开新标签页。

  2. 在新的标签页用户可根据页面指引，如下图所示，完成订单支付。支付成功后，系统会跳转至[订单管理]页面，用户可查看对应的订单详情。

    注册4

  3. 支付完成后，进入API Key详情页面，进入方式如下所示。进入页面后单击“新建API Key”按钮，系统弹窗API Key的信息，例如：调用地址、API Key等。单击“确定”按钮，即可完成API Key创建操作。

  • 用户返回第3/4步骤的页面，在[服务开通成功]提示窗口单击“立即创建”按钮，进入API Key详情页面。

  • 用户点击[产品中心/大模型推理服务/API Key]菜单项，进入API Key详细页面。

    注册4

重要
  • 体验版API按包年包月计费，一个账户可以创建1个API。
  • 企业账户每个体验版DeepSeek API Key每天至多支持调用1000次。

开通基础版DeepSeek API服务​

  1. 用户通过企业账户登录Alaya NeW官网，选择[产品/大模型推理服务]菜单项，进入大模型推理服务概览页面。

  2. 在上述页面单击“立即开通API服务”按钮，进入API购买概览页面，选择“DeepSeek API基础版”产品，在产品概览页面用户可查看大模型推理服务API的相关信息。

    注册3

信息

DCU（DataCanvas Unit）是算力服务的基本计量计费单位，代表用户通过Alaya NeW使用智算服务的工作负荷计量值。1 DCU = 3600 mDCU。

  1. 信息确认无误后，勾选“我已阅读并同意《用户协议》和《隐私政策》”选项，单击“立即开通”按钮，弹窗提示“服务开通成功”。

  2. 在提示弹窗单击“立即创建”按钮，进入API Key页面，单击“新建API Key”，进入API Key新建页面，填写标签值。

  3. 标签值新建完成后，单击“确定”按钮，系统弹窗“创建Key”，如下图所示，用户可获取调用地址、API Key，该凭证将会发送到用户注册时填写的手机号码上。用户在后续的应用中，可以使用已获取的API Key来安全地调用DeepSeek大模型服务。

注册4

重要

基础版API按量计费，一个账户最多可以创建10个API。

更新API Key​

  1. 用户通过企业账户登录Alaya NeW官网，选择[产品中心/大模型推理服务/API Key]菜单项，进入API Key列表页面。
  2. 找到要更新的API Key，单击操作列的“更新”按钮，在弹出的更新提示窗口单击“确定”按钮，即可获取新的API Key，此凭证将作为调用大模型服务的鉴权凭证。

注册3

提示

企业每个自然日仅可更新一次API Key，更新后，原有的API Key将失效。

安装并使用AnythingLLM​

  1. 访问AnythingLLM官网 ，下载并安装客户端。

    20

提示
  • 用户根据本地电脑自行选择相应的安装包下载即可。
  • 本示例使用Windows系统的AnythingLLM客户端，其他系统的客户端界面可能会存在差异，请用户以实际下载的版本界面为准。

  1. 客户端安装完成后，首次启动AnythingLLM客户端，点击“开始”按钮。

    21

  2. 进入“LLM偏好”配置页面，其中大语言模型供应商（LLM Poviders）选择Generic OpenAI，并配置各项参数。

    22

    23

  • Base URL：大模型服务平台预置模型的API域名为“https://deepseek.alayanew.com/v1 ”，用户可直接使用无需修改。
  • API Key：用户在获取访问令牌中复制得到的完整API密钥，需根据实际情况进行修改。
  • Chat Model Name：本实践中使用DeepSeek-R1模型。
提示

在该示例中，上述页面存在但上文中未列出的参数，均采用默认配置。

  1. 依次点击“下一步”按钮，完成所有配置后，按照页面提示输入Workspace工作区名称，进入主界面即可开始对话。

    24

使用本地知识库​

如果用户想通过本地知识库获取信息，可参考以下的步骤。

  1. 点击工作区名称右侧的“上传”按钮。

    25

  2. 在弹出的新窗口中，上传相应文件，并将相应文件移动至工作区，从而加载到AnythingLLM的本地知识库中后，点击“Save and Embed”即可。

    26

    27

  3. 在 Workspace 工作区界面中，点击New Thread开启新的对话，在聊天区域中提问后，大模型会根据知识库中的内容进行回答。

其他操作​

若用户并非第一次使用 AnythingLLM 客户端，需修改相应的大模型供应商和所使用的模型，可参考以下操作。

  1. 启动 AnythingLLM 客户端，在工作区的界面中，点击设置按钮。

    28

  2. 在设置页面，选择人工智能提供商 > LLM 首选项，修改相应模型配置参数即可。

    29