敏感数据安全检测产品

    针对内置以及人工定义的业务系统敏感数据，需要提供相应的数据安全检测、识别和脱敏算法。

(一) 脱敏规则管理

脱敏规则管理是针对敏感数据适用哪些脱敏算法进行设定的功能。功能自带默认敏感数据的脱敏规则，同时支持脱敏规则自定义，支持数据分段脱敏。例如，身份证号作为个人的敏感信息，将身份证数据进行分段，可以指定身份证号中间八位进行脱敏，使用固定映射算法，这样就形成一条针对身份证号的脱敏规则，共脱敏任务设置时候选择。这种集中的脱敏规则设定管理，提升了维护的便利性，满足客户多样化的脱敏需求。

脱敏规则自定义包括：

（1）可以对单张表使用查询条件过滤数据范围，通过设置行数，选取最小的抽取数据量进行脱敏。

（2）支持丰富脱敏规则，包括数据仿真、数据遮蔽、随机字串、固定值、差分隐私等。

（3）支持选择数据水印脱敏算法，采用自动的方式对所有已脱敏的数据增加数据水印，并装载至目标数据库或者文件服务器中。水印标记被使用后，支持锁定功能，防止水印标记的对应关系被修改或者破坏。能够根据少量的样本数据即可精准溯源，显示对应的水印使用人基本信息和操作时间。

（4）支持设置脱敏任务关键参数的能力。包括：抽取方式、抽取线程数、装载线程数和单次提交量等参数。支持配置逆向脱敏任务，方便对已脱敏的数据进行逆向还原真实数据。

(二) 黑白名单管理

黑白名单管理是一种特殊场景下的数据筛选能力：黑名单模块提供为企业“核心数据”设置黑名单功能。黑名单机制的主要目的是为了保护企业机密数据不被泄露，所有“黑名单”上的数据在脱敏前自动过滤掉，例如客户信息不允许用于开发测试环境，将这部分数据加入黑名单，脱敏过程这部分数据不会被同步到目标端，满足客户保护重要客户敏感信息的需求。

白名单模块提供为企业“核心数据”设置白名单功能。白名单机制的主要目的是为了与未经过脱敏处理的业务系统联调或第三方进行数据对接的场景，所有“白名单”上的数据在脱敏前自动过滤掉，例如联调过程中，将联调数据加入白名单，脱敏过程这部分数据即使是敏感数据也不会被脱敏，保持原有数据不变同步到目标端，保证联调的准确性。

(三) 数据子集管理

在许多场景下，并不需要将全部生产环境中数据脱敏至目标环境使用，如开发环境可能仅需要生产环境中1%的数据；统计分析场景则需要对全部数据进行合理采样。脱敏系统可以支持对目标数据库中一部分数据进行脱敏，用户可指定过滤条件，对数据来源进行过滤筛选形成数据子集，适应不同场景下脱敏需求。

(四) 脏数据管理

脏数据管理是针对源数据库存在的异常数据一种记录和处置能力。

在脱敏过程中，遇到源数据有脏数据时，数据脱敏系统会在检测到脏数据后将数据记录下来形成脏数据清单并跳过或者自动对脏数据进行处理，继续处理剩余数据，提高系统稳定性。

(五) 脱敏任务管理

脱敏系统的脱敏任务可针对目标数据库系统或结构化文件进行。通过脱敏任务，将产品与提供原始数据的业务系统和使用脱敏后数据的系统连接起来，用户可在任务内选择脱敏数据来源、脱敏数据去向以及最适合的数据脱敏方案。

脱敏系统提供任务的维护管理功能，可对任务进行停止、启动、重启、暂停、继续，并且支持任务并发，充分利用系统资源，提高脱敏效率。脱敏任务可兼容执行过程中遇到的异常情况，支持跳过异常数据继续执行任务。

支持任务报告，方便掌握整个任务的运行情况，包括运行时长、运行速度、数据量等。脱敏任务具备自适应能力，能够根据脱敏系统的负载情况，自动调整任务参数，减少脱敏任务的配置难度。

(六) 脱敏支持范围

支持多种数据资产类型。关系型数据库支持Oracle、DB2、SQLServer、Mysql、PostgreSQL等。国产数据库支持Gbase8A、Gbase8T、Gbase8S、达梦、人大金仓、神州通用等。大数据平台及其组件，支持HadoopHive、Hbase等。文件源支持CSV、TXT、XML、EXCEL、JSON、DMP等。

支持CLOB类型数据脱敏。

支持HIVE的TEXTFILE、SEQUENCEFILE、RCFILE、ORC、PARQUET五种标准格式脱敏。