需求定义:
近期中国银监会出台了《商业银行信息科技风险管理指引》要求“商业银行在信息系统开发、测试和维护,以及服务外包过程中加强对客户信息的保护,防止敏感信息的泄漏。”为保护客户权益,满足商业银行风险监管和内控监管的要求,银行需要对开发环境和测试环境中的数据建立统一的管理规范,对于必须使用生产数据的系统开发、测试、维护项目,生产数据必须经过脱密,才能被加载到开发、测试或维护环境。此脱密过程称做“数据漂白”。
测试,开发,培训,外包,数据挖掘、研究等,在非生产环境中使用生产数据,减少数据使用的限制,就必须保证数据中涉及客户和生产的敏感信息不外泄。例如:客户姓名、电话、住址、身份证号码等个人敏感信息;还有员工类和企业类的敏感信息等。如果这些客户信息泄漏会对银行本身造城不可估量的损失,如果有人以此客户数据牟利,轻则会损失重要的客户资源,重则造成严重的社会问题。在加强金融行业监管的背景下,从萨班斯法案到《企业内部控制基本规范》都明确要求金融机构中规避信息风险,对客户等资产安全,敏感信息提供完善的保护。因此如何去除数据中的敏感信息,又不改变数据的完整性和一致性,是一个数据安全管理需要解决的问题。数据漂白就是通过数据变换的方法,去除数据中的敏感信息。不同于数据加密,数据漂白可以是不可逆的过程;
一个好的数据漂白过程必须要具备以下特点:
- 数据仿真度
- 数据关联关系
-
业务规则关系
- 可定制
数据仿真度是指漂白过的数据看起来要像真实数据,并且具有真实数据的合法性。例如:姓名漂白过之后,看起来还应该是一个姓名;如果变成一串无意义的字符串,会让使用者很不习惯。
数据关联关系指的是数据库内的数据关联关系,这种关联关系通常是可见的,能够从数据库中找到。例如:主外键的关联关系。在漂白的时候,须保证数据关联的完整性、一致性。
业务规则关系是指数据在数据库之外的业务约束关系,即业务上对数据的约束关系,这种约束关系由业务系统的设计方提供,数据库中不会有所体现。例如:业务规则要求某个字段有一个检验字段,校验字段是通过一个算法计算出的值。此时如果漂白了这个字段,而没有考虑校验关系,就会导致漂白过的数据不可用。还有出生日期与身份证是否具有对应关系等等。
数据漂白面临的问题
目前金融企业一般数据量都比较大,对数据漂白方法也是一个挑战,一种漂白方法对小数据量没有问题,一旦上规模就会可能会出现问题。
例如:数据规模大就会涉及到数据分块,多任务拆分处理。在漂白算法设计上,要保证算法不具有任务间的关联性,才能够保证多个任务之间相互独立,易于调度和处理。
此外还会涉及到多平台、数据编码、中文字符处理等常见问题,都需要在工具上、方法上予以很好的解决。 在数据漂白策略上,需要在数据完整性与通用性之间达成一个平衡。过度追求完整性会产生很多数据约束,再加上规模庞大,使漂白问题复杂性提高;最好的方案是针对目标需求,采用不同的漂白方案,这样会使问题简单化,易于解决。
数据漂白方法介绍
- 置换类算法,针对某些集合数据,通过置换的方法对数据进行漂白。生成类的方法,对email地址、电话号码等内容的漂白,可以通过算法随机生成相应的字段值,以达到漂白的目的
- 随机类方法,针对数字的部分,用随机数代替原有数字。
- 日期类方法,针对日期的变化,如果年龄等。
- 组合类方法,对身份证号可以通过对各个部分分别漂白,再合成为一个新的身份证号的。还需要考虑的是,如果身份证号本身又是一个用于链接的键,就必须保证键值的完整性。
分享到:
相关推荐
数据管理与隐私数据漂白平台建设方案.docx
测试数据管理与隐私数据漂白平台.pptx
测试数据管理与隐私数据漂白解决方案.pptx
测试数据管理与隐私数据漂白平台白皮书.pdf
测试数据管理与隐私数据漂白平台白皮书.docx
银行测试数据管理与隐私数据漂白平台建设方案.docx
InfoMask数据管理与漂白一体机介绍.pptx
InfoMask数据管理与漂白一体机介绍.pdf
隐私数据漂白平台建设方案.docx
行业分类-设备装置-一种金融数据的漂白方法.zip
珊瑚分类数据集,数据集包含三个类。这些类别是健康的(720张)、漂白(150张)和死亡(712张)的珊瑚, 珊瑚分类数据集,数据集包含三个类。这些类别是健康的(720张)、漂白(150张)和死亡(712张)的珊瑚, 珊瑚...
采用响应面方法学(RSM)实验设计中的历史数据设计(HDD)来优化工艺操作参数(温度,时间和吸附剂用量)并将其与漂白效率百分比相关联。 结果分析表明,运行参数的二次效应是显着的。 在160°C的温度,60分钟的...
棉花进出口2015-2023未梳已梳废棉缝纫线印花棉布多股纱线色织漂白平纹布染色布等等 细化到的具体的全球世界各国数据 数据范围:各个省份,分别明细到 全球世界各国 的贸易数据,含进出口数量、金额 数据期间:2015-...
棉花进出口2015-2023未梳已梳废棉缝纫线印花棉布多股纱线色织漂白平纹布染色布等等 细化到的具体的全球世界各国数据 数据范围:各个省份,分别明细到 全球世界各国 的贸易数据,含进出口数量、金额 数据期间:2015-...
棉花进出口2015-2023未梳已梳废棉缝纫线印花棉布多股纱线色织漂白平纹布染色布等等 细化到的具体的全球世界各国数据 数据范围:各个省份,分别明细到 全球世界各国 的贸易数据,含进出口数量、金额 数据期间:2015-...
珊瑚二元分类的结构良好的数据集 数据说明: 原始数据集不包含图像的变体,并且图像未划分为测试、训练和...漂白珊瑚:485图片 此数据集包含 培训-7384图像 测试923图片验证985图像 数据的分割百分比分别为80-10-10。
棉花进出口2015-2023未梳已梳废棉缝纫线印花棉布多股纱线色织漂白平纹布染色布等等 细化到的具体的全球世界各国数据 数据范围:各个省份,分别明细到 全球世界各国 的贸易数据,含进出口数量、金额 数据期间:2015-...
棉花进出口2015-2023未梳已梳废棉缝纫线印花棉布多股纱线色织漂白平纹布染色布等等 细化到的具体的全球世界各国数据 数据范围:各个省份,分别明细到 全球世界各国 的贸易数据,含进出口数量、金额 数据期间:2015-...
棉花进出口2015-2023未梳已梳废棉缝纫线印花棉布多股纱线色织漂白平纹布染色布等等 细化到的具体的全球世界各国数据 数据范围:各个省份,分别明细到 全球世界各国 的贸易数据,含进出口数量、金额 数据期间:2015-...
棉花进出口2015-2023未梳已梳废棉缝纫线印花棉布多股纱线色织漂白平纹布染色布等等 细化到的具体的全球世界各国数据 数据范围:各个省份,分别明细到 全球世界各国 的贸易数据,含进出口数量、金额 数据期间:2015-...