融合集成平台是一个全栈式的集成平台,旨在打通工作空间和数据孤岛,实现异构数据/API/消息集成,提供异构数据集成、工作空间之间通信能力集成、API接口集成能力,助力打造标准统一,融会贯通、资产化、服务化、闭环自优化的智能数据体系,适用于多种常见的企业系统集成场景。
图-1 产品架构
数据集成是一个以调度、监控和管理ETL过程为核心功能的应用系统。该系统通过图形化工具,快速灵活地设计与部署,实现数据抽取、转换及加载,并能在设计中设置统一的清洗规则,从而提升数据的质量,能为企业和组织提供一套完备的数据集成解决方案。
消息集成旨在为融合集成平台提供可靠、无状态、满足各应用间信息最终一致性的消息集成服务。支持原生的Kafka特性,具备原生Kafka所有消息处理特性;支持安全的消息传输,通过sasl认证、消息存储加密等措施加强网络访问控制;支持消息数据高可靠,支持消息持久化、多副本存储机制。
服务集成主要用于数据库表字段的开放、第三方接口的代理转发、文件资源的开放等。支持API注册、API测试、API部署、API授权、API编辑、API删除、API版本管理等全生命周期管理。可以对API的访问进行统计分析,记录访问日志,实现对API访问的审计功能。
函数管理页面是对组织下用户在当前工作空间下所有内置函数和自定义函数进行管理。函数管理页面管理的函数可用于数据集成各类组件、服务集成的API发布、消息集成的消息解析等。
为方便理解与融合集成相关的重要概念,基本术语说明如下表。
表-1 术语及定义
|
术语 |
描述 |
|
执行器 |
执行器是执行任务的实际容器,用于执行服务端发送的作业中的任务 |
|
调度器 |
调度器用于接收服务端下发的作业,并将作业中的环节调度到具体的执行器中运行 |
|
工作空间 |
工作空间是为了让用户更好的将项目相关资源进行统一管理。比如用户可以新建工作空间,然后将同一项目的相关资源创建在一个工作空间下,方便后续查看及操作 |
|
服务编排 |
对现有一些业务接口按照特定的业务执行流进行组织和编排,生成一个统一的对外访问接口,该接口实现了多个业务接口的功能 |
|
Topic |
Topic即消息主题,是消息队列的一种发布与订阅消息的模型,消息的生产、消费及管理围绕着消息主题进行。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系 |
|
Broker |
Kafka包含的一个或多个服务器 |
|
生产者(Producer) |
负责发布消息到Kafka Broker |
|
消费者(Consumer) |
从Kafka Broker读取消息的客户端 |
|
Consumer Group |
每个Consumer属于一个特定的Consumer Group |