在业务流程列表中,单击业务流程操作列中的<监控>按钮, 进入业务流程监控页面。
页面中以画布的形式展示了业务流程的监控信息,包括业务流程内作业任务的状态、拓扑展示等。画布上方提供了放大、缩小、刷新、查看操作日志、通知配置、子流程图、运行/停止、搜索画布内节点(按节点名称)等功能,并展示了业务流程状态及作业节点状态图例;画布中展示了业务中的作业节点拓扑结构,其中每个节点的颜色和上方图例的颜色相对应,表示其当前的状态。
画布上方各功能的说明如下表所示。
表-1 业务流程监控画布功能
功能 |
说明 |
放大画布区域内的图例 |
|
缩小画布区域内的图例 |
|
重新加载画布内容 |
|
页面下方弹出操作日志窗口,日志内容格式如下: YYYY-MM-DD hh:mm:ss 操作用户 --- [访问IP] 具体操作 |
|
配置当前业务流程告警通知信息,详细说明请参见设置业务流程通知配置 |
|
查看业务流程中相互关联的子流程树状图 |
|
提交或停止业务流程 |
|
搜索节点 |
根据节点名称搜索画布内节点,并将该节点高亮显示 |
业务流程支持配置通知,当达到触发条件时,会向指定的邮件地址发送通知消息。
对于未设置通知配置的业务流程,设置步骤如下:
配置通知参数。
表-2 通知配置参数介绍
参数 |
说明 |
通知方式 |
指定通知的发送方式,可发送至企业微信或邮件地址,可两者均选择,选择后需指定具体的企业微信或邮件地址 |
最大通知次数 |
指定发送通知的最大次数 |
最小间隔(分钟) |
指定发送通知的最小时间间隔 |
免发通知时段 |
指定每天不发送通知的时间段 |
通知级别 |
指定发送通知的级别,分为提示、一般、重要和极重要 |
触发条件 |
指定发送通知的触发条件,当前仅可将作业执行失败作为触发条件 |
是否强制下发 |
删除各节点当前通知配置,使各节点统一使用业务流程配置的通知配置 |
同步至模板 |
将业务流程的通知配置同步至调度中心的同一业务流程中 |
同时选中同步至模板与强制下发并不会删除调度中心中已配置通知节点的通知配置。 |
单击<确定>按钮,配置完成。
业务流程设置通知配置后,可以单击画布上方的图标按钮,在弹出窗口中编辑通知配置或删除通知配置。
本节介绍了个节点的通用信息,以及数据同步/实时计算节点的信息,其他节点信息如有参数未说明,请参见业务流程组件配置参数介绍。
在画布区域中,鼠标悬浮在节点上,会弹出弹框显示节点的运行简要信息:
真实状态:作业当前的状态。
开始时间:作业的开始执行时间。
结束时间:作业的执行完成时间。
耗时:作业的运行时长。
在画布区域中,双击节点,页面右侧弹出窗口,显示节点或组的基本信息、调度配置及通知配置:
基本信息
节点信息(不同节点信息有差异,如下述列表中未包含,请参见业务流程组件配置参数介绍)
节点类型:作业节点的类型。
节点名称:作业节点的名称。
模板名称:节点使用的内置作业模板名称。
作业名称:调用作业的名称。
作业描述:作业节点的描述。
创建时间:节点的创建时间。
更新时间:节点的修改时间。
运行信息
开始时间:作业开始运行的时间。
结束时间:作业结束运行的时间。
运行状态:作业的运行状态。
耗时:作业运行的耗时。
进度:作业运行的进度。
查看日志:单击<查看日志>按钮,弹出窗口中展示了作业的具体执行日志信息。
高级参数:离线作业节点的运行参数配置,详细说明请参见业务流程组件配置参数介绍。
调度配置(调度配置的参数说明请参见配置调度策略)。
调度类型:简单调度或高级调度。
调度名称:为调度任务设定的名称。
有效时间:编辑任务调度是设定的调度执行时间范围。
调度周期:设定调度计划执行条件。
调度任务ID:任务执行ID。
状态:任务执行状态。
开始时间:任务实际开始执行时间。
结束时间:任务实际结束执行时间(页面显示与下次运行时间互斥)。
下次运行时间:运行中的任务下一次计划执行的时间(页面显示与结束时间互斥)。
通知配置:可以设置节点的通知配置,并在下方展示了已发送的通知列表。通知配置参数说明请参见设置通知配置。
运行实例(于画布左侧展示的实例运行信息)
高级查询:为便于查看特定的实例运行信息,系统提供了查询功能。单击<高级查询>按钮,展开查询区域,指定运行开始时间、结束时间或运行状态作为条件,单击<查询>按钮,即可查询出匹配的运行信息。
运行实例信息包括:
任务执行的ID
开始时间:任务开始执行时间
结束时间:任务执行完成时间
任务的执行状态,PREP表示准备中,RUNNING表示运行中,SUCCEEDED表示运行成功,KILLED表示被中途取消,FAILED表示运行失败。
在画布区域中,鼠标悬浮在数据同步或者实时计算节点上,可以点击查看运行详情 ,或者双击该节点,查看节点的基本信息:
基本信息
节点信息(不同节点信息有差异,以实时计算节点为例,如下述列表中未包含,请参见业务流程组件配置参数介绍)
节点类型:作业节点的类型。
节点名称:作业节点的名称。
作业名称:节点使用的作业名称。
作业描述:节点使用的作业描述。
运行模式:节点使用的作业提交在集群上的运行模式。
运行信息
输入条数:作业输入的数据量。实时作业使用Hive或Hudi数据表时无该信息。
输出条数:作业输出的数据量。实时作业使用Hive或Hudi数据表时无该信息。
开始时间:作业开始运行的时间。
结束时间:作业结束运行的时间。
运行状态:作业的运行状态。
运行耗时:作业运行的耗时。
异常数据:同步作业运行中出现异常的数据条数。仅数据同步作业显示该参数。
告警列表
对运行中的作业设置一系列的告警规则从而监控作业的运行指标,当指标参数满足设定的规则就会触发告警,目前仅实时计算节点支持告警功能。
告警规则:通过单击按钮,并选择[规则]菜单项,弹出规则管理窗口。窗口左侧是支持的告警规则模板,在左侧选择规则,右边会为添加对应的规则。根据需要在窗口右侧设置相应的触发条件,设置完成后,单击<更新>按钮,即可保存设置的规则。规则保存后,通过左上角的规则启用开关确认是否上线规则。
告警规则无论是添加或者删除操作,都需要单击<更新>按钮后才能保存相应的变更。 |
数据同步节点可以对作业运行的异常数据进行捕获并提供下载功能,点击异常数据量下载具体的错误原因和对应的异常数据。 |
高级参数:实时计算节点FLINK_SQL作业可以通过单击<查看sql>按钮查询具体的SQL语句。
画布中支持对作业节点或作业组执行多种操作,说明如下:
运行
在画布中,右键单击待运行的作业节点,并在弹出菜单中选择[运行]菜单项,即可运行该作业。
停止
在画布中,右键单击待停止的作业节点,并在弹出菜单中选择[停止]菜单项,即可停止该作业。系统会自动校验,当处于不可停止状态时,会提示该操作无法执行。
运行详情
在画布中,右键单击作业节点,并在弹出菜单中选择[运行详情]菜单项(与双击节点效果相同),页面右侧弹出窗口,显示了节点的概览信息;左侧显示任务运行实例信息。
查看日志
在画布中,右键单击作业节点,并在弹出菜单中选择[查看日志]菜单项,弹出查看日志窗口,窗口中展示了作业的具体执行日志信息。
预览数据
在画布中,右键单击SparkSQL作业节点,并在弹出菜单中选择[预览数据]菜单项,可以查预览作业运行的结果数据。
重跑
允许用户在调度中心编辑画布(但不可增删节点,组,线)后,在业务流程监控页面,选择同步操作。同步成功后,右键单击画布中的作业节点,并在弹出菜单中选择[重跑]菜单项,可重新运行该作业。此功能仅适用于离线分析类型节点。
组重跑
允许用户在调度中心编辑画布(但不可增删节点,组,线)后,选择同步操作。同步成功后,在业务流程监控页面,右键单击画布中的作业组,并在弹出菜单中选择[重跑]菜单项,可重新运行该作业组。
补数据
仅SparkSQL类型节点支持补数据操作。
在画布中,右键单击作业节点,并在弹出菜单中选择[补数据]菜单项,弹出补数据窗口。
配置如下参数:
补数据名称:配置补数据操作的名称。
选择业务日期:选择业务的时间范围。
当前节点名称:当前待执行补数据操作的节点名称,不可修改。
单击<确定>按钮,补数据操作完成。
下级子流程:查看下级子流程。
子流程图:查看子流程的序列图。