新建服务
系统支持对从LM Lab训练端发布至Inference的大模型,从FTP、对象存储等外部存储系统、HTTP方式、开源社区Hugging Face等方式下载,本地上传大模型,以及从AI Market添加的大模型,并部署上线。
场景描述
创建一个新的服务,命名为“LLM Chat服务”。
操作步骤
- 登录Inference并进入“服务管理”主界面。
- 单击页面右上角的新建服务按钮,系统跳转到“新建服务”页面。
- 在“新建服务”页面中,填写相关信息,如下所示,其中model字段为服务的唯一标识,支持自定义。
- 单击确定,完成创建。
后续操作
服务创建后,可以修改基本信息、服务成员以及进行服务移交等操作。
- 编辑服务、删除服务、移交 服务:
在服务概览页面,基本信息面板的右上角展开“服务设置”,可以进行服务编辑、删除和修改服务的唯一标识model等操作,服务拥有者可以移交服务。如下所示:
- 添加服务成员:
在服务概览页面,在服务成员管理面板的右上角可以添加服务成员,如下所示:
- 修改服务成员:
在服务概览页面,在服务成员管理面板的右上角在展开成员列表中,可以删除某个服务成员或修改服务成员角色。如下所示:
服务的所有者的角色为“服务管理员”且不可以被修改,其他成员可以具有“服务成员”、“服务管理员”或管理员创建的其它角色。
[!Tip]
- 服务拥有者的角色为服务管理员。
- 服务拥有者支持移交服务。