统计管理页面展示了数据源的统计配置项,支持按不同数据源类型配置数据的统计情况和统计周期。
统计管理仅超级管理员有查看和配置权限。
进入统计管理的步骤如下:
在顶部导航栏中选择[数据运营/数据资产],进入数据资产。数据资产缺省展示总览页面。
单击左侧导航树中的[配置管理/统计管理]菜单项,进入配置管理的统计管理页面。
统计管理页面中展示了如下统计配置:
支持的数据库类型统计周期:对支持的各种数据库类型统一配置统计的周期,配置项为cron表达式,默认值为每天凌晨零点十分执行,右侧<生成Cron表达式>按钮可以生成并校验cron表达式是否正确。
HIVE/DLH元数据是否统计:是否统计Hive/DLH元数据,默认为false。
HIVE/DLH元数据统计周期:Hive/DLH元数据统计的周期,配置项为cron表达式,默认值为每天每隔三个小时执行,右侧<生成Cron表达式>按钮可以生成并校验cron表达式是否正确。
不统计的数据源:配置不会被统计的数据源,单击<编辑>按钮,会在页面下方出现所有数据源列表,可通过勾选数据源添加不统计的数据源,详细操作请参见编辑不统计的数据源。
Hive/DLH元数据是通过执行相关SQL进行统计的。当“HIVE/DLH元数据是否统计”配置为true时,由于Hive/DLH元数据进行统计时会在YARN上启动MapReduce任务,会对数据开发中查看作业日志造成一定影响,为避免此问题,可在设置“Hive/DLH元数据统计周期”时适当延长该统计周期。 |
在“不统计的数据源”参数右侧,单击<编辑>按钮,将在下方弹出分页展示的数据源列表。
数据源列表中会展示数据源名称,数据源类型,IP,组织,创建者和描述信息,此外还可以通过数据源列表上方的过滤条件对数据源列表进行过滤,过滤条件包括:数据源类型、数据源名称、IP和是否统计,其中是否统计的默认值为否,其他条件无默认值。
在列表中勾选数据源,“不统计的数据源”参数后会展示已勾选的数据源。
单击页面底部的<提交>按钮,已选择的数据源将不会被统计。
当前支持不统计的数据源类型为:Elasticsearch、MySQL、Oracle、PostgreSQL、Greenplum、达梦、Vertica、Hive、DLH。