01-正文
本章节下载: 01-正文 (2.06 MB)
H3C绿洲数据运营平台是一站式智能数据开发和治理平台,集成了先进的大数据技术,结合集成平台覆盖数据集成、数据标准、数据开发、数据质量、数据资产、数据脱敏、数据管理等数据使用场景,其中数据开发包含了实时计算、多维分析、全文检索、数据管道等分析能力,支持结构化数据、非结构化数据、时空数据、图数据的分析和加工。产品以打破“信息孤岛”消除“数据烟囱”为理念,帮助企业把数据用起来,以发挥数据最大价值。
为方便理解与数据运营平台相关的重要概念,基本术语说明如表1-1所示。
术语/定义 |
描述 |
大数据平台 |
H3C DataEngine大数据平台,用于管理Hadoop集群 |
融合集成平台 |
H3C绿洲融合集成平台 |
绿洲数字平台门户 |
H3C绿洲数字平台门户,提供统一的用户信息管理和单点登录实现各个子系统的统一鉴权认证、无缝跳转,并可以把各个系统的消息和业务模块接入平台,为功能繁多的子系统提供统一的服务入口和消息处理功能 |
融合部署 |
当产品共同使用相同服务器部署时,即采用融合部署方式 |
独立部署 |
当产品使用各自的服务器进行部署时,即采用独立部署方式 |
标准版 |
数据运营平台标准安装版本,其底层不依赖大数据平台,适合项目预算有限,数据处理复杂度较低且数据量较小的场景 |
增强版 |
数据运营平台增强安装版本,底层依赖大数据平台,适合有一定数据规模且对数据开发有较高要求的场景 |
高级版 |
数据运营平台高级安装版本,底层依赖大数据平台,数据分析处理能力集较增强版更全,适合大规模数据处理和治理的场景 |
数据运营平台部署步骤汇总如图2-1所示,各步骤说明如表2-1所示。
步骤 |
是否必选 |
说明 |
|
开始 |
/ |
/ |
|
部署前要求 |
必选 |
||
准备部署环境 |
准备部署资源 |
必选 |
|
准备DataEngine大数据集群 |
增强版和高级版必选 |
数据运营平台正常提供服务依赖Hadoop集群,请完成DataEngine大数据平台部署,并在其服务上建立Hadoop集群。DataEngine大数据平台的部署与数据运营平台的部署无强制先后顺序。数据运营平台支持在部署完成后,再在其中配置DataEngine大数据集群信息,详情请参见6.4 初始化数据运营平台 |
|
准备融合集成平台 |
必选 |
数据运营平台依赖融合集成平台的数据源模块,因此,在部署数据运营平台前,必须完成融合集成平台的部署 |
|
准备绿洲数字平台门户 |
必选 |
数据运营平台支持通过绿洲数字平台门户实现用户统一管理和单点登录功能,因此在访问数据运营平台前,需部署好绿洲数字平台门户 |
|
准备安装包 |
必选 |
根据部署需求,选择对应的数据运营平台安装包 |
|
部署数据运营平台 |
上传安装包 |
必选 |
|
部署数据运营平台 |
必选 |
||
配置License |
必选 |
||
结束 |
/ |
部署完成并配置License后,即可使用数据运营平台,使用的详细介绍请参见产品内嵌的联机帮助 |
部署前,需确认部署环境配置能够满足本章中的服务器、工具及软件安装包要求。
数据运营平台支持“融合部署”与“独立部署”两种部署方式。
部署数据运营平台时,推荐使用物理服务器部署数据运营平台,对物理服务器的配置要求如表3-1所示。若资源紧张,也可以在虚拟机中部署,对虚拟机的配置要求如表3-2所示。若融合集成平台与数据运营平台融合部署时,请选择物理服务器。
表3-1 H3C绿洲数据运营平台硬件配置最低要求-物理服务器
配置项 |
最低配置要求 |
型号 |
主流服务器厂商x86服务器 |
数量 |
≥3台 |
CPU |
Intel Xeon V3系列或更新型号,总核数≥32 主频≥2.0 GHz |
内存 |
≥128 GB |
系统盘 |
容量≥600GB,至少2块,支持使用HDD或SSD。如使用HDD,推荐:转速≥10000r/min |
数据盘 |
容量≥ 1TB,支持使用HDD或SSD。如使用HDD,推荐:转速≥10000r/min |
RAID卡 |
缓存≥1GB,支持掉电保护 |
网卡 |
≥2张万兆网卡 |
表3-2 H3C绿洲数据运营平台硬件配置最低要求-虚拟机
配置项 |
最低配置要求 |
型号 |
主流服务器厂商x86服务器 |
数量 |
≥3台 |
CPU |
Intel Xeon V3系列或更新型号,总核数≥16 主频≥2.0 GHz |
内存 |
≥64 GB |
系统盘 |
容量≥600GB |
数据盘 |
容量≥ 1TB,支持HDD(至少1块,可参考业务数据量规划磁盘数量和容量) |
· 实际部署时,可根据服务器配置和数量选择部署方式,当数量≥6台时,建议将数据运营平台和融合集成平台进行独立部署(3台部署数据运营平台,3台部署融合集成平台);当<6台时,需要使用融合部署。采用融合部署方式时,数据运营平台和融合集成平台必须在所有服务器节点上均进行融合部署,不支持部分服务器融合部署,部分服务器独立部署。
· DataEngine大数据平台部署服务器要求请参见《H3C DataEngine大数据平台 安装部署手册 E5104》。
· 绿洲融合集成平台部署服务器要求请参见《H3C绿洲融合集成平台 安装部署手册 E5105》。
· 绿洲数字平台门户部署服务器要求请参见《H3C 绿洲数字平台门户 安装部署手册 E5105》。
数据运营平台各节点磁盘分区要求如表3-3所示。
硬盘 |
磁盘详情 |
分区目录 |
分区容量 |
用途 |
文件系统类型 |
系统盘 |
推荐2*600GB,组成RAID1 |
/ |
磁盘空间≥400G,挂载/home、/opt、/usr目录 |
操作系统使用 |
ext4 |
/boot |
独立分区,≥500M |
系统启动引导 |
xfs或ext4 |
||
/boot/efi |
独立分区,≥200M |
系统硬件初始化 |
EFI |
||
数据盘 |
推荐4*1.5T,组成RAID10 |
/data/ |
磁盘空间≥1TB |
数据运营平台系统相关信息数据 · 服务配置数据 · 服务运营日志 · 系统运维脚本 · 数据库数据文件 |
ext4 |
/var/lib/docker |
独立分区,≥500GB |
容器存储地址 |
ext4 |
数据运营平台的部署最少需使用3个节点,部署时选择可任意一个节点执行安装部署操作,为便于描述,将该节点简称为管理节点,其他部署数据运营平台的节点(参考5.2 部署数据运营平台中的修改config.json配置的内容),简称为部署节点。
部署数据运营平台时,支持的操作系统说明如表3-4所示。
操作系统 |
版本说明 |
获取方式 |
H3Linux-data.iso |
H3Linux 1.1.0 |
由H3C提供 |
· 操作系统版本不支持中文语言。
· H3Linux操作系统的ISO安装包随数据运营平台软件安装包一起发布,请解压获取。
访问管理页面时,支持Chrome 68及以上版本的浏览器。
数据运营平台E5105版本安装包及配套产品的安装包如表3-5所示。
名称 |
说明 |
获取方式 |
|
数据运营平台软件包 |
H3C-Oasis_Data_Operation_Platform-E5105.rar |
E5105版本 |
由H3C提供 |
DataEngine大数据平台安装包 |
DataEngine-E5104-V300R001B05D006.tar.gz |
E5104版本 |
由H3C提供 |
融合集成平台安装包 |
Oasis-Integration-Platform-E5105-V500R001B01D019SP02.tar.gz |
E5105版本 |
由H3C提供 |
绿洲数字平台门户(统一门户)安装包 |
DataDigital_V100R001B01D009.tar.gz |
E5105版本 |
由H3C提供 |
本章介绍部署数据运营平台前所需的环境,包括准备部署资源、准备大数据集群、准备融合集成平台、准备绿洲数字平台门户、准备安装包。
本节适用于需要部署数据运营平台的所有节点。
根据表3-1中所示的服务器要求,为数据运营平台准备服务器,并为服务器安装操作系统及校时。
安装操作系统时需保证各节点密码相同,且没有配置免密。
在生产环境中,待部署数据运营平台要求至少部署在3个节点上,各节点请部署3.2.2 操作系统要求中要求的操作系统(操作系统ISO文件已随产品软件包提供)。
安装完成操作系统后,建议对所有服务器进行校时,请参见9.4 修改主机节点的时区及时间章节操作。
· 数据运营平台部署“标准版”时,会自动选择部署节点为校时服务器,其他节点会以该部署节点时间为基准进行校时操作。
· 当部署“增强版”或者“高级版”时,如“标准版”部署一致,数据运营平台内部所有节点都和部署节点自动对时。为保证系统运行正常,建议将数据运营平台与部署DataEngine大数据管理平台管理节点对时,具体操作请参见9.5 数据运营平台与大数据集群对时。
· 部署数据运营平台标准版时,请跳过本节。
· 由于数据运营平台需要使用DataEngine大数据平台进行数据的分析和计算,建议DataEngine大数据平台部署Hadoop集群的节点满足规格:内存大小为128GB以上,CPU核数为32核以上。
· 支持在数据运营平台部署完成后,再配置大数据集群,即大数据集群与数据运营平台部署的前后顺序不做强制要求,在数据运营平台中配置DataEngine大数据集群信息的说明详情请参见6.4 初始化数据运营平台。
部署数据运营平台的增强版和高级版,需要部署DataEngine大数据平台并创建集群(后续将该集群简称为DE 集群)。
关于DataEngine大数据平台的安装部署指导和注意事项,详情请参见《H3C DataEngine大数据平台 安装部署手册》。
在部署DataEngine大数据平台时,需要部署数据运营平台依赖的所有DataEngine大数据平台组件,并开启部分DataEngine大数据平台功能,如表4-1所示。
表4-1 数据运营平台依赖的DataEngine大数据平台组件
组件名称 |
说明 |
Elasticsearch |
依赖组件 |
HBase |
依赖组件 |
HDFS |
依赖组件 |
Hive |
依赖组件 |
Kafka |
依赖组件 |
MapReduce2 |
依赖组件 |
Oozie |
依赖组件 |
Redis |
依赖组件,且需为集群模式 |
Spark2 |
依赖组件 |
Sqoop |
依赖组件 |
YARN |
依赖组件 |
ZooKeeper |
依赖组件 |
数据运营平台支持大数据平台同时开启(Kerberos+Ranger)或同时关闭(Kerberos+Ranger),不支持Kerberos或Ranger单独开启。在部署DE大数据平台时,为保证数据的安全、可靠建议开启(Kerberos+Ranger),同时为了保证DE大数据平台的稳定运行建议开启HA,具体要求如表4-2所示。
功能 |
说明 |
安全模式 |
建议开启(Kerberos+Ranger) |
高可用 |
建议开启HA |
在DataEngine大数据管理平台的[集群管理]/[用户管理]下新建的用户,用于开启Kerberos集群的认证使用。平台不会将认证文件同步到集群实例节点,在添加用户后需要手动同步,具体操作如下:
1. 点击新加用户的<下载认证文件>按钮,下载认证文件到本地。
2. 解压认证文件,将解压后的<username>.keytab文件利用相关工具上传到每个集群实例节点的keytab管理目录(/etc/security/keytabs )。
部署完成DataEngine大数据平台并创建集群后,还需要进行检查并修改配置,以便后续部署可以顺利完成。
(1) 登录DataEngine大数据平台,检查部署的DE集群实例,保证各个组件服务已正常启动,且正在运行。
(2) 在DataEngine大数据平台中修改Oozie配置。
a. 在大数据平台的高级配置中搜索oozie.service.SparkConfigurationService.spark.configurations参数,并将oozie-site中的此项修改为*=/etc/spark2/conf。
b. 在大数据平台的高级配置中搜索oozie.service.ELService.functions.workflow(如未搜索到该配置项,请在自定义配置的oozie-site中新增该配置项),并将oozie-site中的此项的值修改为下框内容。
obtainDate=com.h3c.oozie.el.ExtendDateELFunction#obtainDate,
firstNotNull=org.apache.oozie.util.ELConstantsFunctions#firstNotNull,
concat=org.apache.oozie.util.ELConstantsFunctions#concat,
replaceAll=org.apache.oozie.util.ELConstantsFunctions#replaceAll,
appendAll=org.apache.oozie.util.ELConstantsFunctions#appendAll,
trim=org.apache.oozie.util.ELConstantsFunctions#trim,
timestamp=org.apache.oozie.util.ELConstantsFunctions#timestamp,
urlEncode=org.apache.oozie.util.ELConstantsFunctions#urlEncode,
toJsonStr=org.apache.oozie.util.ELConstantsFunctions#toJsonStr,
toPropertiesStr=org.apache.oozie.util.ELConstantsFunctions#toPropertiesStr,
toConfigurationStr=org.apache.oozie.util.ELConstantsFunctions#toConfigurationStr
c. 修改完成后,将oozie-el-extensions-1.0.0.jar(请从数据运营平台产品软件包中获取)手动上传至oozieServer所在节点的/usr/hdp/3.0.1.0-187/oozie/lib/目录下,目录中“3.0.1.0-187”为大数据平台Hadoop组件的版本号,不同的DE大数据平台版本该值可能有差异,请根据实际的版本号替换该值。
(3) 将koala-connector-0.1.jar(请从数据运营平台产品软件包中获取)文件手动上传到Spark集群所有节点的/usr/hdp/3.0.1.0-187/spark2/jars/目录下,目录中“3.0.1.0-187”为大数据平台Hadoop组件的版本号,不同的DE大数据平台版本该值可能有差异,请根据实际的版本号替换该值。
(4) 当DataEngine大数据平台开启了Kerberos时(如未开启Kerberos,请跳过本步骤),需要登录DataEngine大数据平台部署Oozie Server进程的节点,将/etc/spark2/conf/目录下的Spark配置文件ranger-spark-security.xml和ranger-spark-audit.xml 拷贝到Oozie的sparksharelib目录(/user/oozie/share/lib/lib_yyyyMMddhhmmss/spark)下,具体步骤如下:
a. 切换成oozie用户:
su - oozie
b. 查看lib_ yyyyMMddhhmmss目录名称:
hdfs dfs -ls /user/oozie/share/lib/
展示列表中如“lib_20210514200641 ”所示的目录为当前集群的sparksharelib目录。
c. 进入/etc/spark2/conf目录下:
cd /etc/spark2/conf
d. 拷贝到HDFS目录:
hdfs dfs –put ranger-spark-audit.xml /user/oozie/share/lib/lib_ yyyyMMddhhmmss/spark
hdfs dfs –put ranger-spark-security.xml /user/oozie/share/lib/lib_ yyyyMMddhhmmss/spark
其中lib_ yyyyMMddhhmmss (例如:lib_20210514200641)为具体集群的目录名,根据实际部署情况确定。
(5) 登录DataEngine大数据平台,在DE大数据集群管理界面中先重启Spark组件,待Spark启动完成后,再重启Oozie组件。
数据运营平台运行时需要依赖融合集成平台的数据源模块,在部署时需要配置数据源相关参数。
同时采用融合部署方式时,MySQL、Redis、RabbitMQ由融合集成平台部署,数据运营平台与融合集成平台共同使用。
在部署数据运营平台前,请务必保证融合集成平台已部署完成,且正常使用,确认方法请参见9.3 确认融合集成平台服务正常的方式章节。
关于融合集成平台的安装部署指导和注意事项,请参见《H3C 绿洲融合集成平台 安装部署手册》。
数据运营平台部署完成后需要配置绿洲数字平台门户作为统一门户对组织、用户等信息进行统一管理,在执行6.1 在数据运营平台中配置SSO(CAS)前,请完成绿洲数字平台门户部署。关于绿洲数字平台门户的安装部署指导和注意事项,请参见《H3C 绿洲数字平台门户 安装部署手册》。
解压数据运营平台产品软件包(H3C-Oasis_Data_Operation_Platform-E5105.rar),得到安装包。产品软件包中包含多个安装包,具体介绍如下表所示。
表4-3 安装包列表
名称 |
说明 |
Oasis_Data_Operation_Platform_E5105-V500R001B01D109SP02.tar.gz |
|
oozie-el-extensions-1.0.0.jar |
补充DE大数据平台Oozie组件功能,具体使用请参见4.2.2 (2) |
koala-connector-0.1.jar |
补充DE大数据平台Spark组件功能,具体使用请参见4.2.2 (3) |
h3linux-data.iso |
Linux操作系统 H3Linux 1.1.0(Kernel 4.14-131)安装包 |
数据运营平台的部署最少需使用3个节点,部署时选择可任意一个节点执行安装部署操作,为便于描述,将该节点简称为管理节点,其他节点简称为部署节点。
使用Xftp等传输工具连接任一节点,并将数据运营平台的安装包Oasis_Data_Operation_Platform_E5105-V500R001B01D109SP02.tar.gz上传到该节点的/opt目录下(本文档中的/opt仅为示例目录,可根据实际情况上传至其他目录)。
(1) 进入/opt目录,并解压数据运营平台安装包。
cd /opt
tar -zxvf Oasis_Data_Operation_Platform_E5105-V500R001B01D109SP02.tar.gz
cd /opt/Oasis_Data_Operation_Platform_E5105-V500R001B01D109SP02
(2) 修改config.json文件,配置该文件中node和vip参数的值。修改及说明如图5-1和表5-1所示,修改完成后保存退出。
vi config.json
参数 |
说明 |
node |
部署数据运营平台的所有节点IP地址,本例中以3个节点为例。各IP地址需添加英文双引号,并以英文逗号分隔 |
vip |
数据运营平台的虚拟IP。IP地址需添加英文双引号 |
config.json中,参数node和vip的值是字符串数组,需加英文双引号,否则之后执行安装脚本时会报错。
(3) 修改extra.json文件,配置该文件中的部分参数(extra.json文件中各配置字段的说明请参见表9-1)。
vi extra.json
其中需要修改的配置参数说明如表5-2所示。
参数类别 |
参数及说明 |
redis、rabbitmq、mysql为前缀的配置参数 |
具体处理方式请参见9.6 extra.json文件中以redis/mysql/rabbitmq为前缀配置参数的处理方式。其中,部分参数说明如下: · redis.cluster.nodes:Redis集群节点 · rabbitmq.ip:RabbitMQ服务的IP · mysql.host:MySQL服务的 IP |
数据运营平台版本参数 |
· do_type.value:数据运营平台部署服务版本。请根据需部署的版本进行配置,版本说明如下: ¡ standard:标准版 ¡ enhance:增强版 ¡ advanced:高级版 · install_type.value:数据运营平台使用的部署方式。请根据实际的规划方案和部署情况进行配置,部署方式说明如下: ¡ exclusive:当前服务器由数据运营平台独占使用,采用独立部署时需配置为该值 ¡ share:当前服务器同时部署了数据运营平台及其他产品,采用融合部署时需配置为该值 |
数据运营平台配套使用的融合集成平台信息参数 |
di_custom.vip.value:融合集成平台的虚拟IP(即访问IP地址) |
数据运营平台部署前需要融合集成平台提前完成部署。
数据运营平台不支持与其他产品部分机器重合使用的部署场景。
· 如果两个产品规划使用完全相同的服务器部署时,需要设置install_type.value的值为“share”,标识共享使用服务器。
· 如果两个产品规划使用完全不重合服务器部署时,需要设置install_type.value的值为“exclusive”,标识独立使用服务器。
(1) 修改完配置文件后,执行安装脚本(同在解压后的安装文件目录下,本文档中为/opt/ Oasis_Data_Operation_Platform_E5105-V500R001B01D109SP02,不要切换目录)部署数据运营平台。
sh install.sh
在安装脚本的执行过程中,需要输入root用户密码等信息,请根据提示输入,以便完成安装。
图5-2 根据提示信息输入对应信息
(2) 安装成功后,会出现如图5-3所示提示。此时即可使用图中最后一行的地址(格式为https://VIP:30006)访问数据运营平台服务。
· 为保证系统安全,登录系统后请及时修改登录密码。
· 在涉及内外网映射的环境中,请确保网络互通,不存在影响数据运营平台访问与使用相关的限制(如使用第三方认证服务器,内网回调外网存在访问限制等),以免影响数据运营平台的正常访问和使用。
数据运营平台服务安装部署完成后,即可访问数据运营平台。为实现数据运营平台的统一登录和功能正常使用,还需配置单点登录(SSO)及DE大数据集群信息。
数据运营平台的访问URL地址会在部署完成后显示(请参见图5-3中最后一行输出屏显),访问格式为:
https://VIP:30006 /dataoperation
登录页面如图6-1所示,缺省系统管理员用户名为admin,缺省密码为Passw0rd@_。
图6-1 登录页面
数据运营平台服务安装部署完成后,即可访问数据运营平台,并配置单点登录(SSO)信息。
(1) 登录数据运营平台后,在顶部导航栏中选择[系统]。
(2) 在左侧导航树中,选择[系统配置/安全设置],进入安全配置页面。
(3) 在左侧二级导航树中,选择[SSO认证],进入SSO认证页面,如图6-2所示。
图6-2 SSO配置页面
¡ SSO认证中各参数配置,需从统一门户安装文档及实际配置参数中获取:
- SSO对接认证:CAS认证开启按钮,默认 “关闭”,请点击“开启”后,开始后续配置。
- 认证协议:协议类型,默认CAS。
- endpoint:CAS地址,格式为:http://IP:Port/cas。
其中,IP和Port(默认8086),请从《H3C 绿洲数字平台门户 安装部署手册》中介绍的projectConfig.js文件的casOrigin配置值中获取。
¡ RabbitMQ信息
- rabbitmq地址:CAS部署关联的RabbitMQ服务IP地址。
- rabbitmq端口:CAS部署关联的RabbitMQ服务端口。
- rabbitmq用户:CAS部署关联的RabbitMQ服务用户。
- rabbitmq密码:CAS部署关联的RabbitMQ服务明文密码。
上述参数的配置具体请参见《H3C 绿洲数字平台门户 安装部署手册》中extra.json文件配置的相关介绍中获取,其中服务密码在extra.json文件以密文保存,关于解密查看的方法请参见9.1 安装部署配置文件说明。
(4) 上述信息配置完成后,单击<确定>按钮,认证成功后右上角会有提示信息。
一旦SSO配置完成,并且退出当前登录系统,再次登录时,将按照配置的统一门户地址信息进行跳转登录,如果配置信息有误,将无法完成正常跳转或无法正常登录。
如果出现上述问题,可以通过“逃生登录”方式,访问 https://VIP:30006/platform/#/login/ssoSkip,跳过统一门户配置,直接通过数据运营平台登录系统,重新进行SSO配置。
在数据运营平台中配置完成SSO认证信息后,还需要在绿洲数字平台门户中配置对数据运营平台的访问信息。
请在浏览器中直接输入:
https//<绿洲数字平台门户VIP>:8082
选择[系统设置]/[组件管理],单击数据运营平台所在行的<编辑>按钮,在弹出的“组件管理”页面中,如图6-3所示,根据部署数据运营平台后给出的VIP和端口号,修改“组件地址”的IP地址和端口号。
选择[系统设置]/[链接管理],分别对“表管理”、“调度中心”、“调度运维”、“文件管理”进行编辑,如图6-4所示,单击各项对应操作列中的<编辑>按钮,根据部署数据运营平台后给出的VIP和端口号,在弹出的“编辑链接”中修改“URL”,如图6-5所示。
完成以上配置后,通过访问 https://VIP:30006/dataoperation 会自动跳转到单点登录界面,如图6-6所示,使用统一门户的用户名密码,即可进行登录操作。
(1) 登录数据运营平台后,进入在顶部导航栏中选择[数据运营平台]。
(2) 在左侧导航树中,选择[系统管理],进入系统管理页面。
(3) 在左侧的二级导航树中,选择 [集群配置],进入集群信息配置页面,如图6-7所示。
在该页面中进行集群配置和数据运营平台服务初始化。
参数说明:
¡ 大数据集群管理IP:部署DataEngine大数据集群服务的虚IP。
¡ DataEngine集群名称:DataEngine大数据集群服务实例名称。
¡ DataEngine集群主节点IP:DataEngine集群服务实例虚IP。
¡ DataEngine API用户名:实例接口用户名,默认admin。
¡ DataEngine API密码:实例接口用户名密码,默认CloudOS5#DE3@Ambari。
¡ DataEngine API端口号:实例接口默认端口号28888。
¡ DataEngine Redis密码:Redis服务的密码。默认密码:CloudOS5#DE3@Redis,如用户修改了Redis服务的密码,请输入修改后的密码。
¡ DataEngine API类型:DE3.0版本实例接口默认类型为HTTP。
¡ Openresty端口:DataEngine 的openresty服务API端口,默认值“29004”。
¡ Ranger:当DataEngine集群开启ranger后勾选此项,对Ranger支持情况见表4-2。
¡ Kerberos:当DataEngine集群开启kerberos后,勾选此项,对Kerberos支持情况请参见表4-2。
上述DataEngine大数据集群所在管理IP和DE集群名称配置正确后,将自动获取Kerberos认证所需文件,无需其他操作。但如果提示获取失败,请手动填写安装用户,并点击选择文件并上传keytab文件和krb5文件。
¡ DPM端口:DataEngine的DPM服务API端口,默认值“29006”。
¡ League端口:DataEngine的League服务端口,默认值“29016”。
¡ 安全用户:Kerberos用户名,如已经自动获取无需操作。
¡ keytab文件:Kerberos认证文件,如已经自动获取无需操作。
¡ krb5文件:Kerberos配置文件,如已经自动获取无需操作。
(4) 配置完成后,单击<保存>按钮,集群信息配置完成。
(5) 在页面底部,单击<初始化集群>按钮,对该集群进行初始化。通过查看服务状态,获取服务的初始化相关信息,待全部服务初始化显示完成后,初始化集群操作完成,如图6-8所示。
当个别服务初始化出现问题时,可单独对该服务进行初始化操作,点击服务后方的初始化服务,即可对单独服务进行初始化操作。
数据运营平台部署并配置完成后,即可正常访问和使用。在使用过程中,严禁在节点中通过命令执行(即后台执行)下述操作:
· 修改/删除HDFS文件夹或文件
· 删除ZooKeeper文件夹或文件
· 修改/删除HBase表
· 新增/删除Elasticsearch索引
· 删除MySQL业务库
· 删除Kafka topic信息
详细操作说明请参见《H3C 绿洲数据运营平台 高危操作手册》。
数据运营平台部署完成后,用户可在180内免费试用所有功能,超过试用期后,需要获取License授权才能正常使用。
· 申请License文件后,如果设备信息文件对应的服务器或虚拟机出现网卡变更(包括禁用网卡、新网卡启用、网卡更换、旧网卡损坏等)、CPU更换或硬盘更换等硬件信息的变更,可能会导致License文件失效。
· License server需为正式版本,才能保证License授权成功。
· 数据运营平台的运行依赖DataEngine大数据平台、融合集成平台,本章节仅涉及数据运营平台本身的License配置方案,如上述依赖产品的授权过期,请参见相应产品的文档介绍获取License授权。
数据运营平台产品授权分为标准版、增强版和高级版。安装不同的版本,则需要对应的授权,关于数据运营平台License授权详情请参见《H3C绿洲数据运营平台License支持情况说明》。
数据运营平台需通过License Server获取授权,在进行数据运营平台的License配置时,需提前完成License远程授权相关操作,详情请参见《H3C软件产品远程授权License使用指南》。
关于License远程授权相关的操作,如获取授权、授权迁移、授权卸载等均请参见《H3C软件产品远程授权License使用指南》。
配置前,请确认已在License Server上创建了针对数据运营平台所在管理平台的客户端,增加客户端时填写的客户端名称、客户端密码将在管理平台连接License Server时使用。
需要配置连接License Server的参数,操作的具体步骤如下:
(1) 使用admin用户登录数据运营平台。
(2) 在顶部导航栏中单击[系统/软件授权]菜单项,进入License授权管理页面。
(3) 配置License Server的IP地址、端口号、客户端名称和客户端密码参数。
此处的客户端名称和客户端密码即为License Server中创建客户端时配置的客户端用户名和密码。
端口号默认为“5555”,可登录License Server后,点击配置菜单下的系统配置核查端口号信息。
(4) 单击<连接>按钮,连接至License Server。连接成功后系统会自动获取所有授权信息。
数据运营平台的License管理页面和License Server定期通信更新授权状态,授权信息栏显示系统授权使用情况。当License Server上的授权信息变更时,点击<同步>按钮可手动刷新当前授权信息列表。
· 授权名称:系统支持的授权名称。
· 获得授权:从License Server获取到的授权状态。对于数量型授权,该值为实际获取的授权数量;对于功能型授权,该值为true(获取授权成功)或false(获取授权失败)。数据运营平台全部为功能型授权。
· 使用授权:对于数量型授权,该值表示已经使用的授权数量;对于功能型授权,该值为空。
· 剩余有效时间:对于正式授权,该值为“永久”,对于临时授权,该值表示授权剩余的可用天数。
· 操作:管理平台的管理页面默认同步License Server上的所有授权。点击授权信息列表中某授权名称对应的<申请授权>按钮,可手动配置该授权名称的获得授权。对于数量型授权,可修改获得授权的数量;对于功能型授权,可选择是否授权。
· 在生产环境中,卸载管理系统不可逆,属于高危操作,请谨慎使用。
· 卸载脚本只存在管理节点(上传安装包并执行安装脚本的节点)中,其他节点无法执行。
(1) 登录管理节点,进入安装包解压目录,并执行卸载脚本。
cd /opt/Oasis_Data_Operation_Platform_E5105-V500R001B01D109SP02
sh uninstall.sh
(2) 在卸载脚本的执行过程中,需要输入root用户密码等信息,请根据提示输入,以便完成卸载。
图8-1 根据提示信息输入对应信息(图中文件夹名称仅为示例,以实际为准)
图8-2 卸载执行结果
部署过程中会调用extra.json文件,extra.json文件中,参数的格式(仅做示例)如下:
{
"redis":{
"password":"paravalue"
"cluster":{
"nodes":"paravalue"
}
为便于描述,按层级,将参数名称写作为redis.password和redis.cluster.nodes,其他参数类似。示例中paravalue表示参数值。
该文件中各参数说明请参见表9-1。
表9-1 extra.json文件参数说明
参数 |
默认值 |
说明 |
|
redis.password |
Passw0rd@_ |
Redis集群服务密码 |
|
redis.cluster.nodes |
无 |
Redis集群服务节点信息 |
|
rabbitmq.ip |
无 |
RabbitMQ服务配置IP |
|
rabbitmq.port |
5673 |
RabbitMQ服务配置端口 |
|
rabbitmq.user |
admin |
RabbitMQ服务配置内置用户 |
|
rabbitmq.password |
Passw0rd@_ |
RabbitMQ服务配置admin用户密码 |
|
rabbitmq.vhost |
/ |
RabbitMQ服务配置vhost |
|
mysql.host |
无 |
MySQL服务配置IP |
|
mysql.port |
3307 |
MySQL服务配置端口 |
|
mysql.user |
admin |
MySQL服务配置内置用户 |
|
mysql.password |
Passw0rd@_ |
MySQL服务配置admin用户密码 |
|
install_type.value |
share |
数据运营平台部署服务器使用方式: · exclusive:独立使用,独立部署时需配置为该值 · share:与其他平台共享使用使用,融合部署时需配置为该值 |
|
do_type.value |
无 |
数据运营平台部署服务版本 · standard:标准版 · enhance:增强版 · advanced:高级版 |
|
di_custom.vip.value |
无 |
融合集成平台服务 |
服务代理的虚IP |
di_custom.db_port.value |
3307 |
数据源服务数据库服务端口 |
|
di_custom.db_user.value |
admin |
数据源服务数据库管理员账号 |
|
di_custom.db_password.value |
Passw0rd@_ |
数据源服务数据库管理员密码 |
|
di_custom.db_name.value |
dataintegration_ds |
数据源服务数据库名称 |
|
di_custom.ds_svc_port.value |
33002 |
数据源服务代理端口 |
|
di_custom.web_svc_port |
33006 |
集成融合服务代理端口 |
数据运营平台服务启动过程中,需要通过REST接口,获取关联的DE大数据集群的配置文件。当DE大数据集群无法响应较大的请求时,处理会发生阻塞,进而导致DE大数据集群管理服务异常,同时数据运营平台部分服务容器无法正常启动。
解决该问题的步骤如下:
(1) 检查DE大数据集群组件是否正常。
a. 登录DE大数据平台,在关联的集群,查看组件列表是否可以正常显示,如图9-1所示。
图9-1 正常的DE大数据集群组件列表
b. 若组件列表显示异常,则表示DE大数据集群管理服务异常,此时需进入master节点,执行如下命令,确认组件列表显示正常。
ambari-server restart
(2) 数据运营平台服务容器会自动重启一定的次数。自动重启时,若DE大数据集群管理服务正常,则容器可以正常启动。但有部分服务会超过自动重启次数,此时需要手动重启这部分服务。
手动重启服务的步骤如下:
a. 登录部署数据运营平台的节点服务器。
b. 执行如下命令,筛选未正常启动且重启次数超限而关闭的服务容器。
docker ps -a | grep dataoperation | grep Exited
各容器名称格式为dataoperation-svc-{服务名}。
c. 执行如下命令,进入该服务容器启动脚本目录。
cd /opt/dataoperation/{服务名}/script
d. 执行如下命令,执行服务启动脚本,重启已停止的容器:
sh restart_{服务名}.sh
以上步骤需要在每个节点服务器上,对每个关闭的数据运营平台服务容器执行,直到所有服务容器正常运行。
数据运营平台各服务名称如下:commons、dataasset、datadev、datasecurity、datastandard、dataquality、dolphin、eagle、hge_graphdb、hge_graph_analysis、hge_graph_loader、hge_scheduler、seal、snake、ste。
登录融合集成平台,进入该服务首页,页面无异常信息,且图表正常显示,如图9-2所示,则表示集成融合平台部署正常。
当待部署数据运营平台的各主机节点时区或时间不一致时,需要将时间调整为一致。以部署节点为校时服务器,对其他节点的时区及时间进行修正,操作步骤如下:
¡ 查看时区命令:
timedatectl
图9-3 结果如下
执行结果中“Time zone”参数的值即为当前服务器时区。
¡ 查看时间命令:
date
图9-4 查看时间
(2) 依次进入待部署服务节点,查看各节点的时区是否与校时服务器一致。若时区不一致,则需要修改时区。以将时区修改为Shanghai为例,命令如下:
timedatectl set-timezone Asia/Shanghai
(3) 依次进入待部署服务节点,查看各节点的系统时间与校时服务器是否一致。若各节点系统时间与校时服务器的时间不同,则需将系统时间修改为一致。以修改系统时间为2021-3-12 15:48:00为例,命令如下:
date -s "2021-3-12 15:48:00"
根据部署数据运营平台的机器使用情况,分为以下两种情况:
数据运营平台独立使用节点(至少3台)部署时,当部署完成后在部署节点,修改/etc/chrony.conf 文件,将如图9-5 所圈定的chrony.conf 的server ip修改为DataEngine大数据集群的管理节点IP,并执行如下命令重启chronyd服务:
systemctl restart chronyd
图9-5 chrony.conf
当数据运营平台与融合集成平台、数字平台任一产品存在节点共享使用时,请务必在所有的产品部署完成后,再参考独立使用节点描述修改chrony.conf的配置。
如果后续存在任一产品重新部署的操作,都需重新执行以上操作,重新修改chrony.conf文件。
对于以redis/mysql/rabbitmq为前缀的配置参数,数据运营平台安装时,复用了融合集成平台的相关服务,具体参数获取方式说明如下:
(1) 首先确认融合集成平台节点部署节点和目录。
登录部署节点,在其部署目录下,找到/ansible/vars/app_vars.yml文件,该文件中3个服务相关配置信息,如图9-6所示。
(2)依据app_vars.yml文件中配置信息,填写extra.json文件中的相关配置值。
不同款型规格的资料略有差异, 详细信息请向具体销售和400咨询。H3C保留在没有任何通知或提示的情况下对资料内容进行修改的权利!