随着互联网、物联网、云计算等信息技术与通信技术的迅猛发展,人类正在生产、消费、存储和使用越来越多的数据。如此海量的数据在带给人们巨大价值的同时,同时也带来了各种数据泄露的风险。如何有效的进行数据的安全防控成为国家、单位和个人所面临的严峻挑战。
新华三技术有限公司自主研发了H3C SecPath DM2000-D系列数据脱敏系统,存在于运维环境和生产环境数据库之间的安全层,支持包括用户名、IP、主机名等细颗粒度的访问控制,提供指定用户类型对应指定策略的定向动态脱敏。对于受控用户对于数据库进行修改、删除等高危动作的阻断功能,在数据出口提供基于数据敏感等级、权限等策略的脱敏能力。
H3C SecPath DM2000-D系列动态脱敏产品包括DM2010-D、DM2020-D、DM2030-D三个型号,广泛适用于“政府、财政、教育、能源、工商、社保、医疗、国土、金融、运营商、企业”等所有涉及数据库应用的各个行业。
H3C SecPath DM2000系列动态脱敏系统支持与数据治理平台、数据网关对接,能够对API形式调用数据的行为进行解析和监控,并自动分析其中包含的敏感数据,自动对其中的敏感数据进行数据脱敏。
实际的使用场景中会经常遇到与应用系统的用户权限关联来实现数据的脱敏,普通的动态脱敏产品只能根据数据库用户级别进行权限的识别和判定。对这种使用场景无能为力。新华三通过独有的智能应用关联技术可做到应用系统层级的细粒度控制。
应用关联的系统需要预先安装公司提供的插件到业务系统中,无需改造业务系统代码。安装完插件的业务系统会把业务系统的用户信息附带在SQL请求中。脱敏系统即可根据SQL请求中的用户信息鉴定为哪个用户发起的请求,从而实现业务系统用户权限的精确控制。
H3C SecPath DM2000系列动态脱敏系统采用了分布式产品架构,能够快速的对动态脱敏系统进行横向扩展,组建动态脱敏服务集群。在大数据流量、大并发、高稳定性等应用场景下都可广泛应用。
DAG(有向无环图)算法结合SQL语法分析技术,能够快速、精准的定位到复杂的SQL的敏感数据列。大幅提升敏感数据的识别精度,降低复杂SQL下的脱敏失败率。
H3C SecPath DM2000系列动态脱敏系统支持复杂SQL请求的脱敏,包含但不限于:select *,嵌套和多层嵌套,连接(左连接、右连接、内连接)查询,比较查询、模糊查询、范围查询、分组查询等。
DAG是脱敏处理过程中的一个中间环节,程序通过遍历语法解析器生成的具体语法树,比如
```SQL
with A (stu_name, score) as (select s.name stu_name, c.score from student s join course c on s.stu_no = c.stu_no) select A.stu_name, A.score from A, B join (select name from dept) grade on (A.stu_name = grade.name);
```
经过语法解析后为一棵具体语法树,通过遍历访问具体语法树,将树中的子查询,列和表之间的关系存储在DAG中。此处的 DAG 中的关系如下所示
在脱敏过程中,通过 DAG 中的这些关系,就能确定 SQL 语句中需要脱敏的列信息,对 SQL 语句进行脱敏改写。
H3C SecPath DM2000系列动态脱敏系统使用了智能学习和高效缓存技术,对已学习完成的SQL句式能够通过缓存技术进行高效处理。数据脱敏后与脱敏前的SQL请求时延增加<=1ms,吞吐量损耗<15%。
智能学习技术会记录请求 SQL 的上下文信息,SQL 的内容,SQL 的中间处理结果,脱敏的最终结果等。并将同类查询条件的SQL语句进行汇聚,存储到高效缓存中。当后面处理到同类型的查询SQL时,可以直接获取结果,大幅提升脱敏的效率。
表1-1 H3C SecPath DM2000 系列动态脱敏产品规格
属性 | DM2010 | DM2020 | DM2030 | |
数据库协议支持 | Oracle、mysql、sqlserver、Postgresql、hive、达梦、金仓、神舟通用、Teradate、GaussDB、ElasticSearch、Phoenix、hbase、kudu、GreenPlum、Maxcompute、API网关/数据接口 | |||
首页 | 首页 | 支持数据资产、敏感数据表、敏感数据列、脱敏数据列、未脱敏数据列的统计 | ||
支持资产分类统计、敏感数据统计图表展示 | ||||
支持脱敏请求TOP5展示 | ||||
支持访问目标资产、请求客户端TOP5展示 | ||||
支持敏感数据访问流量图表展示 | ||||
资产管理 | 数据源管理 | 支持数据库资产的添加、修改、删除。 | ||
支持数据库资产的连通性测试。 | ||||
支持按资产名检索 | ||||
支持服务端、客户端的字符编码自适应(UTF8/GBK/GB2312) | ||||
支持IPV6的数据资产脱敏 | ||||
支持ORACLE RAC的数据使用场景脱敏 | ||||
支持MYSQL读写分离的数据使用场景脱敏 | ||||
资产状态(API脱敏不支持) | 支持查看资产内的资产信息,资产信息包含IP/模式统计/表统计/列统计 | |||
支持查看编辑/每个资产的敏感数据类型,敏感数据类型支持直接引用行业模版 | ||||
支持以饼图的方式查看资产的敏感数据发现结果 | ||||
支持以饼图的方式查看脱敏规则创建和启用的数量 | ||||
资产信息/敏感数据发现支持手动更新、自动更新 | ||||
脱敏规则支持自动创建、支持手动批量创建 | ||||
敏感数据访问统计 | 支持对敏感数据访问的记录进行统计,用于回溯和查看敏感数据的访问频度和行为轨迹。 | |||
敏感数据和算法 | 数据类型管理 | 以列表的方式展示所有的敏感数据类型 | ||
敏感数据类型包含内置类型和自定义类型 | ||||
支持以正则表达式的方式添加自定义类型 | ||||
支持以离线升级包的方式更新内置类型 | ||||
内置的敏感数据类型:身份证号/社保卡号/驾驶证号,中文地址,银行卡号,企业单位名称,车牌号,手机号,中文姓名,电子邮箱,护照号,固定电话,邮政编码,三证合一码(税务登记、组织机构、营业执照),车架号/车辆识别码(VIN),中国台湾居民来往大陆通行证,港澳居民来往内地通行证 | ||||
脱敏算法管理 | 以列表的方式展示所有的脱敏算法,每个脱敏算法有对应的示例展示 | |||
脱敏算法包含内置算法和自定义算法 | ||||
支持以字符串的方式添加自定义算法 | ||||
支持以正则表达式的方式添加自定义算法(限大数据脱敏) | ||||
支持以离线升级包的方式更新内置算法 | ||||
内置的脱敏算法:所有敏感数据类型的置空算法、全遮蔽算法、部分遮蔽算法 | ||||
支持日期、数值格式的数据脱敏(例如:INT/TIMESTAMP等) | ||||
支持复杂SQL请求的脱敏,包含但不限于:select *,嵌套和多层嵌套,连接(左连接、右连接、内连接)查询,比较查询、模糊查询、范围查询、分组查询等 | ||||
高效率的脱敏处理能力,数据脱敏后与脱敏前的SQL请求时延增加<=1ms,吞吐量损耗<15% | ||||
支持扩展的脱敏算法:所有敏感数据类型的特征遮蔽算法、特征随机算法、特征仿真算法(默认不带,需要扩展包升级) | ||||
行业模版(API脱敏不支持) | 支持添加、编辑、删除、复制行业模版 | |||
行业模版支持选择内置和自定义的敏感数据 | ||||
行业模版支持根据选择的敏感数据类型指定脱敏算法 | ||||
敏感数据发现/批量创建规则支持关联行业模版 | ||||
支持个人敏感信息、企事业单位敏感信息等内置模版 | ||||
敏感数据发现(API脱敏不支持) | 支持根据资产来进行敏感数据的发现。支持敏感数据扫描任务进度展示 | |||
支持抽样扫描和全部扫描,抽样扫描可配置抽样数。 | ||||
支持配置最少命中率,未达到最低命中率的结果不展示。 | ||||
支持调整扫描的线程数,最大线程数根据硬件信息自动识别。 | ||||
支持自定义选择要发现敏感数据类型,支持关联行业模版。 | ||||
脱敏规则 | (数据库与大数据脱敏) | 支持以资产的方式展示规则统计信息,统计信息包含创建规则数、启用规则数、白名单数。 | ||
支持基于整个资产进行规则的启用/停用 | ||||
支持规则的添加、编辑、删除、启用/停用。支持规则的批量操作 | ||||
支持根据检索条件来检索过滤规则 | ||||
支持基于资产添加/编辑/删除脱敏白名单 | ||||
白名单基于IP/数据库用户/时间三个维度对指定脱敏规则例外。 | ||||
支持树状结构展示规则信息 | ||||
(API脱敏) | API脱敏使用一套独立的规则模型,与数据库脱敏和大数据库脱敏不一样。 | |||
支持基于整个资产进行规则编辑、启用/停用 | ||||
脱敏规则支持选择内置和自定义的敏感数据 | ||||
脱敏规则支持根据选择的敏感数据类型指定脱敏算法 | ||||
脱敏规则支持根据敏感数据类型排列优先级 | ||||
高级功能 | 扩展规则(限数据库脱敏) | 支持以资产的方式展示规则统计信息,统计信息包含创建规则数、启用规则数、白名单数。 | ||
支持基于整个资产进行规则的启用/停用 | ||||
支持规则的添加、编辑、删除、启用/停用 | ||||
支持根据检索条件来检索过滤规则 | ||||
扩展规则支持的匹配条件:表名、字符串、时间段 | ||||
扩展规则支持的执行动作:阻断、替换表名、替换SQL、检索替换字符串 | ||||
应用授权(限数据库脱敏) | 支持以列表的形式展示应用程序信息 | |||
支持添加、删除应用程序和数据资产之间的映射关系 | ||||
支持IPV6的应用程序进行关联 | ||||
支持每个应用程序的用户信息导入 | ||||
支持基于每个应用程序查看该应用的授权白名单列表 | ||||
支持基于应用程序添加、编辑、删除用户的授权白名单 | ||||
系统日志 | / | 支持查看所有系统操作行为的日志信息 | ||
操作行为日志以列表的形式展示:包含操作时间、操作用户、操作IP、操作对象、操作内容 | ||||
对部分涉及配置变更的支持查看操作详情 | ||||
支持根据检索条件检索过滤操作行为日志 | ||||
系统配置 | 系统信息 | 查看系统的版本号、授权信息 | ||
下载系统授权所需要的机器码 | ||||
支持导入系统授权文件 | ||||
支持不同数据库类型分别进行实例数、有效期的licenece控制 | ||||
网络配置 | 以列表的形式展示系统所有的网卡信息 | |||
支持网卡的配置修改 | ||||
网卡分为管理网卡和业务网卡,管理网卡支持配置IP、掩码、网关、DNS,业务网卡支持配置IP、掩码 | ||||
支持ping、tracert、nslookup、telnet的连通性检测 | ||||
设备状态 | 支持查看系统的CPU、内存使用负载 | |||
支持查看所有网卡的网络流量信息 | ||||
支持查看磁盘空间使用情况 | ||||
服务器配置 | 支持对系统有关联的一些服务器进行配置,支持FTP/SFTP/NTP/SYSLOG的服务器配置 | |||
系统维护 | 支持反向代理和旁路引流部署模式 | |||
反向代理和旁路引流模式可以相互切换 | ||||
支持对系统的软重启 | ||||
支持清空系统的配置信息 | ||||
支持导入指定的配置信息 | ||||
支持系统配置的备份,备份支持手动备份和自动备份。备份方式支持FTP和SFTP | ||||
自动备份周期为天/周/月 | ||||
支持软件升级(管理端、代理端) | ||||
支持在WEB导出系统运行的后台日志,后台日志包含:管理端、代理端、系统升级日志、message日志等 | ||||
日志管理 | 支持手动修改系统的日期时间 | |||
支持以NTP的方式自动更新系统的日期时间 | ||||
系统日志支持自动清理,清理的间隔为:1周/2周/1月/3月/6月/1年 | ||||
支持系统日志的备份,备份支持手动备份和自动备份。备份方式支持FTP和SFTP | ||||
自动备份周期为天/周/月 | ||||
高可用配置 | 系统的管理端支持单机部署、主备部署 | |||
主备部署需要指定VIP、备机的IP、服务网卡、心跳网卡 | ||||
主备部署完成后可以在高可用状态里查看双机的状态 | ||||
分布式集群 | 数据库脱敏、大数据脱敏都支持部署分布式集群处理大流量大并发的场景。 | |||
分布式集群的节点单独安装,节点状态会定时上报给管理端。 | ||||
集群分数据库脱敏集群和大数据脱敏集群,可以分别查看两个集群的状态 | ||||
用户管理 | 角色管理 | 内置系统管理员、安全管理员、审计管理员3种角色 | ||
支持创建、编辑、删除自定义角色 | ||||
支持对自定义角色授权功能菜单 | ||||
支持对角色信息进行检索 | ||||
帐号管理 | 支持创建、编辑、删除帐号信息,支持帐号与角色关联 | |||
支持对帐号进行密码初始化 | ||||
支持按照模版批量导入帐号 | ||||
支持根据帐号信息进行检索 | ||||
安全配置 | 支持启用动态验证码功能 | |||
支持配置登录超时时间 | ||||
支持配置登录安全策略,安全策略包含:指定时间内、密码输入错误、帐号锁定时间 | ||||
支持启用初次登录强制更改密码 | ||||
支持设置密码最低长度 | ||||
支持设置数字、小写字母、大写字母、特殊符号的密码复杂度 | ||||
支持配置管理端IP访问白名单 |
DM2000系列动态脱敏系统部署方式为反向代理部署,应用系统的SQL数据连接请求转发到脱敏代理系统,由动态脱敏系统解析请求后,再将SQL语句转发到数据库服务器,数据库服务器返回的数据同样经过动态脱敏系统后由脱敏系统返回给应用服务器。
DM2000系列动态脱敏系统还可以支持旁路引流方式部署。通过在三层交换机或者路由器上配置策略路由,使访问数据库的网络流量转发到动态脱敏系统,从而实现数据库查询的实时脱敏,旁路引流方式如下所示。相比反向代理模式的优点,该模式不需要修改客户端和应用系统连接数据库的IP,且发生单点故障时,可以通过策略路由将流量切换回原数据库,保证业务正常。缺点为该组网模式更加复杂。
H3C SecPath DM2000系列动态脱敏系统是新华三技术有限公司自主开发的产品,用户可以根据实际需求按照型号进行选购。
表1-1 选购一览表
主机 | 描述 | 备注 |
H3C SecPath DM2010 | H3C SecPath DM2010-D动态脱敏 | 必配 |
H3C SecPath DM2020 | H3C SecPath DM2020-D动态脱敏 | 必配 |
H3C SecPath DM2030 | H3C SecPath DM2030-D动态脱敏 | 必配 |
表1-2 选购一览表
配件 | 描述 | 备注 |
扩展插卡 | H3C SecPath IPC 4端口千兆以太网电接口(RJ45)+4端口千兆以太网光接口(SFP)模块 | 选配 |
扩展插卡 | H3C SecPath IPC 8端口千兆以太网电接口模块(RJ45) | 选配 |
扩展插卡 | H3C SecPath IPC 8端口千兆以太网光接口模块(SFP) | 选配 |
扩展插卡 | H3C SecPath IPC 4端口万兆以太网光接口模块(SFP+) | 选配 |
扩展电源 | H3C 350W 交流电源模块 | 选配 |