跳到主要内容

在AnythingLLM中使用

本文以大模型服务中的DeepSeek-R1满血版为例，向用户介绍如何在 AnythingLLM 中调用相应模型，部署自己的 AI 应用。

背景​

AnythingLLM 是由 Mintplex Labs Inc. 开发的开源工具，专为构建私有化智能知识库设计。集成了检索增强生成（RAG）和AI代理等功能。用户无需编写代码或担忧复杂的基础设施设置，同时支持多种文档类型，并能与不同的大型语言模型集成，确保数据安全和隐私保护的同时，提供高效的问答和知识管理功能。

19

主要特点

  • 多文档类型支持：能够处理包括PDF、TXT、DOCX在内的多种文档格式，便于用户上传和整合多样化的资料。
  • 多种部署方式：支持云端、本地和自托管部署。
  • 模块化架构：高度灵活的设计，让用户可以根据需要选择不同的语言模型、嵌入器和向量数据库，满足个性化需求。
  • 权限管理：提供灵活的用户权限设置，允许控制谁可以查看或编辑特定内容，确保数据的安全性和隐私保护。

前提​

用户已经获取Alaya New企业账户和密码，如果需要帮助或尚未注册，可参考账户注册完成注册。

操作步骤​

获取访问令牌​

  1. 用户通过企业账户登录Alaya NeW官网，如下图所示。

    注册2

  2. 选择[产品/大模型推理服务]菜单项，进入大模型推理服务概览页面。

  3. 在上述页面单击“立即开通API服务”按钮，进入API购买概览页面，在概览页面用户可查看DeepSeek大模型服务API的相关信息。

    注册3

  4. 信息确认无误后，勾选“我已阅读并同意《用户协议》和《隐私政策》”选项，单击“立即支付”按钮，系统会打开新标签页。

  5. 在新的标签页用户可根据页面指引，如下图所示，完成订单支付。支付成功后，系统会跳转至订单管理页面，用户可查看对应的订单详情。

    注册4

  6. 用户可通过如下方式创建API Key。创建完成后页面如下图所示。

  • 用户点击[返回首页/产品/大模型推理服务]菜单项，进入访问令牌创建页面，单击“立即创建”按钮，即可创建专属API Key。

  • 返回第3步的页面，页面会弹出[服务开通成功]提示窗口，在该窗口单击“创建”按钮，即可创建专属API Key。

    注册4

该凭证将会发送到用户注册时提供的手机号码上。用户在后续的应用中，可以使用已获取的API Key来安全地调用DeepSeek大模型服务。

重要

企业账户每个API Key每天至多支持调用1000次。

更新API Key​

  1. 用户通过企业账户登录Alaya NeW官网，选择[产品/大模型推理服务]菜单项，进入大模型推理服务页面。
  2. 单击“更新”API Key按钮，系统会弹出更新提示，如果用户确认更新，单击“确定”按钮，即可获取新的API Key，此凭证将作为新的调用大模型服务的鉴权凭证。
提示
  • 如果用户丢失已生成的API Key，可参考获取访问令牌的“更新API Key”章节步骤获取新的鉴权凭证。
  • 企业每个自然日仅可更新一次API Key，更新后，原有的API Key将失效。

安装并使用AnythingLLM​

  1. 访问AnythingLLM官网 ，下载并安装客户端。

    20

提示
  • 用户根据本地电脑自行选择相应的安装包下载即可。
  • 本示例使用Windows系统的AnythingLLM客户端，其他系统的客户端界面可能会存在差异，请用户以实际下载的版本界面为准。

  1. 客户端安装完成后，首次启动AnythingLLM客户端，点击“开始”按钮。

    21

  2. 进入“LLM偏好”配置页面，其中大语言模型供应商（LLM Poviders）选择Generic OpenAI，并配置各项参数。

    22

    23

  • Base URL：大模型服务平台预置模型的API域名为“https://deepseek.alayanew.com/v1 ”，用户可直接使用无需修改。
  • API Key：用户在获取访问令牌中复制得到的完整API密钥，需根据实际情况进行修改。
  • Chat Model Name：本实践中使用DeepSeek-R1模型。
提示

在该示例中，上述页面存在但上文中未列出的参数，均采用默认配置。

  1. 依次点击“下一步”按钮，完成所有配置后，按照页面提示输入Workspace工作区名称，进入主界面即可开始对话。

    24

使用本地知识库​

如果用户想通过本地知识库获取信息，可参考以下的步骤。

  1. 点击工作区名称右侧的“上传”按钮。

    25

  2. 在弹出的新窗口中，上传相应文件，并将相应文件移动至工作区，从而加载到AnythingLLM的本地知识库中后，点击“Save and Embed”即可。

    26

    27

  3. 在 Workspace 工作区界面中，点击New Thread开启新的对话，在聊天区域中提问后，大模型会根据知识库中的内容进行回答。

其他操作​

若用户并非第一次使用 AnythingLLM 客户端，需修改相应的大模型供应商和所使用的模型，可参考以下操作。

  1. 启动 AnythingLLM 客户端，在工作区的界面中，点击设置按钮。

    28

  2. 在设置页面，选择人工智能提供商 > LLM 首选项，修改相应模型配置参数即可。

    29