在线服务

模型上线后，可以通过REST、MQ、Batch和gRPC四种方式提供预测服务。单击页面右上角的示例可以获取服务地址以及请求消息格式。

部署模型

在页面左侧的“侧边栏”区域，选择在线服务，系统跳转到在线服务列表页面。 在在线服务页面中，单击页面右上角的“部署”，系统跳转到“新建部署”页面。如下图所示：

上线服务

模型部署成功后，对模型进行上线操作。如下图所示：

服务API调试

服务上线后，对服务进行API调试操作。如下图所示： 在“调试”区域中，系统自动生成了请求数据，用户也可以修改其中各特征的值。 单击调试，可以在运行结果区域可以查看推测结果。

开启访问日志和数据回流

在在线服务页面，默认显示“服务监控”页签，切换到“访问日志”页签，开启访问日志，并配置数据回流。如下图所示： 访问日志：展示访问日志开启状态、开启时间、数据量、自动清理的策略，以及查看数据、导出记录。 数据回流：展示数据回流开启状态、配置的运行模式、目标数据源、资源，以及运行记录。

在线服务中各模块说明如下所示：

• 服务监控：展示服务累计调用次数、累计调用成功率、平均/最小/最大响应时间、流量状态、上线模型的平均响应时间以及请求调用次数，CPU、GPU和内存等工作负载的实时使用情况,以及资源明细。
• 模型监控：展示和当前上线模型相关的所有监控任务。
• 访问日志：展示访问日志开启状态、开启时间、数据量、自动清理的策略，以及查看数据、导出记录。
• 数据回流：展示数据回流开启状态、配置的运行模式、目标数据源、资源，以及运行记录。