跳到主要内容

新建服务

系统支持对从LM Lab训练端发布至Inference的大模型,从FTP、对象存储等外部存储系统、HTTP方式、开源社区Hugging Face等方式下载,本地上传大模型,以及从AI Market添加的大模型,并部署上线。

场景描述

创建一个新的服务,命名为“LLM Chat服务”。

操作步骤

  1. 登录Inference并进入“服务管理”主界面。
  2. 单击页面右上角的新建服务按钮,系统跳转到“新建服务”页面。
  3. 在“新建服务”页面中,填写相关信息,如下所示,其中model字段为服务的唯一标识,支持自定义。

image

  1. 单击确定,完成创建。

后续操作

服务创建后,可以修改基本信息、服务成员以及进行服务移交等操作。

  • 编辑服务、删除服务、移交服务:
    在服务概览页面,基本信息面板的右上角展开“服务设置”,可以进行服务编辑、删除和修改服务的唯一标识model等操作,服务拥有者可以移交服务。如下所示:

image

  • 添加服务成员:
    在服务概览页面,在服务成员管理面板的右上角可以添加服务成员,如下所示:

image

  • 修改服务成员:
    在服务概览页面,在服务成员管理面板的右上角在展开成员列表中,可以删除某个服务成员或修改服务成员角色。如下所示:

image

服务的所有者的角色为“服务管理员”且不可以被修改,其他成员可以具有“服务成员”、“服务管理员”或管理员创建的其它角色。

[!Tip]

  • 服务拥有者的角色为服务管理员。
  • 服务拥有者支持移交服务。