跳到主要内容

服务管理

服务简介​

服务是平台资产对象（如在线服务、跑批服务、模型管理等）的管理单位，即通过服务可以实现资产对象的组织和管理功能。

服务类型：

  • 公开服务：所有用户可以查看该服务，但只有服务管理员才可以修改该服务。
  • 私有服务：只有服务成员才可以查看该服务，服务管理员才可以修改该服务。
提示

租户管理员可以查看所有服务。

新建服务​

系统支持纳管Lab发布至Inference的模型以及直接导入Inference的“Pipeline模型”，并部署上线。设置其模型来源为“模型文件“，可支持模板/自定义评估、跑批、监控。 系统支持纳管“镜像模型”，并部署上线。设置其模型来源为”镜像模型“，可支持自定义评估、跑批、监控。

场景描述​

创建一个新的服务，命名为“Doc-机器学习-模型文件”。

操作步骤​

  1. 登录Inference并进入“服务管理”主界面。

  2. 单击页面右上角的新建服务按钮，系统跳转到“新建服务”页面。

  3. 在“新建服务”页面中，填写相关信息，如下所示：

    image

  4. 单击确定，完成创建。

提示

量化功能目前仅支持目标检测、语义分割、实例分割等部分模型，且需要在新建服务时配置GPU才能启用此功能。

后续操作​

服务创建后，可以修改基本信息、服务成员以及进行服务移交等操作。

  • 编辑服务、删除服务、告警设置：
    1.在服务概览页面，基本信息面板的右上角展开“服务设置”，可以进行服务编辑、删除、告警设置操作，服务拥有者可以移交服务。如下所示：

    image

    2.点击“告警设置”操作，进入告警管理页。将各事件的开关开启后，如存在任务失败，即可通过邮件自动通知用户。如下所示：

    image

提示

在开启Console中的“邮件网关”后，才可配置数据回流失败告警。

  • 添加服务成员：
    在服务概览页面，在服务成员管理面板的右上角可以添加服务成员，如下所示：

    image

  • 修改服务成员：
    1.在服务概览页面，在服务成员管理面板的右上角在展开成员列表中，可以删除某个服务成员或修改服务成员角色。如下所示：

    image

    2.服务的所有者的角色为“服务管理员”且不可以被修改，其他成员可以具有“服务成员”、“服务管理员”或管理员创建的其它角色。

提示

服务拥有者的角色为服务管理员。
服务拥有者支持移交服务。

服务变量管理​

模型文件的变量管理​

变量用于描述模型的输入和输出信息，一个服务中的模型必须具有相同的目标变量，模型的特征变量可以少于或者等于服务的特征变量。

“模型文件”的服务变量在Lab提交至Inference或导入第一个模型时生成，之后用户可以通过自定义的方式添加变量。此外，当变量所在模型未部署时，用户可以对变量进行修改，已部署模型的变量不可以修改。

服务的变量可以通过如下两种方式实现添加：

  • 自定义变量：用于创建单一特征
  • 从文件获取：解析用户上传的csv文件，并将列名作为变量名

场景描述​

在服务“Doc-机器学习-模型文件”中通过“iris.csv"文件为该服务创建变量，文件内容如下所示：

sepal_length,sepal_width,petal_length,petal_width,class
5.1,3.5,1.4,0.2,setosa
4.9,3.0,1.4,0.2,setosa
4.7,3.2,1.3,0.2,setosa
4.6,3.1,1.5,0.2,setosa

前提条件​

  • 服务仅有一个模型，且模型是未部署状态。

操作步骤​

  1. 在“模型仓库”主界面，选择服务“Doc-机器学习-模型文件”，进入该“服务概览”页面。

  2. 在页面左侧的“服务信息卡片”区域，单击变量管理的编辑，系统跳转到“变量管理”页面。

  3. 展开添加变量，并在下拉菜单中单击通过文件获取。

  4. 将“iris.csv”文件拖拽到弹出框中的文件上传区域。

  5. 单击下一步，等待系统完成解析。

  6. 设置变量类型，完成后的设置如下所示：

    image

  7. 单击确定，系统会根据从文件中获取的内容更新“特征变量”和“目标变量”下的内容。

镜像模型的输入输出​

“镜像模型”下可配置多个服务地址，不同服务地址下可以配置不同的输入输出和URL的Method及Header，多个服务地址的设定可满足镜像模型调用的多元化需求。

URL的输入类型支持如下三种方式：

  • Form：表单类输入，支持用户自定义变量。
  • Text：支持文本类的输入。
  • File：解析用户上传的文件。

URL的输出类型支持如下两种方式：

  • Text：支持文本类的输出。
  • File：支持文件格式的输出。

场景描述​

在服务“Doc-深度学习-镜像模型”下添加URL，并为URL设定输入和输出。

操作步骤​

  1. 在“模型仓库”主界面，选择服务“Doc-机器学习-模型文件”，进入该“服务概览”页面。

  2. 在页面左侧的“服务信息卡片”区域，单击服务地址的更多，系统跳转到“URL管理”页面。

  3. 单击添加URL。

  4. 在“URL管理”弹出框中，填写相关信息，如下所示：

    image

  5. 单击确定，服务会新增一个新的服务地址。

提示

如输入类型、输出类型设置为“文件”，或输入类型设置为变量，变量列表包含“file”时，在模型上线阶段，系统将无法进行数据回流。