华为大数据安全实践 FusionInsight是完全开放的大数据分析平台
华为大数据分析平台FusionInsight基于开源社区软件Hadoop进行功能增强,提供企业级大数据存储、查询和分析的统一平台,帮助企业快速构建海量数据信息处理系统。FusionInsight是完全开放的大数据分析平台,并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求打造了高可靠、高安全、易使用的运行维护系统和全量数据建模中间件。
华为FusionInsight大数据分析平台框架图如图B-4所示。
大数据分析平台汇聚着大量数据,面临着更多的安全威胁和挑战,包括数据滥用和用户隐私泄露问题。华为FuisonInsight大数据分析平台提供
可运营的安全体系,从网络安全、主机安全、用户安全和数据安全方面提供全方位的安全防护(如图B-5):
(一)网络安全:FusionInsight集群支持通过网络平面隔离的方式保证网络安全。
(二)主机安全:通过对FusionInsight集群内节点的操作系统安全加固等手段保证节点正常运行,包括更新最新补丁、操作系统内核安全加固、操作系统权限控制、端口管理、部署防病毒软件等。
(三)用户安全:通过提供身份认证、权限控制、审计控制等安全措施防止用户假冒、越权、恶意操作等安全威胁:
1)身份认证。FusionInsight使用LDAP作为帐户管理系统,并通过Kerberos对帐户信息进行安全认证;统一了Manager系统用户和组件用户的管理及认证,提供单点登录。
2)权限控制。基于用户和角色的认证统一体系,遵从帐户/角色RBAC(基于角色的访问控制)模型,实现通过角色进行权限管理,对用户进行批量授权管理,降低集群的管理难度;通过角色创建访问组件资源的权限,可以细粒度管理资源(例如文件、目录、表、数据库、列族等访问权限);将角色授予用户/用户组,简化用户/用户组的权限配置。3)审计日志。FusionInsight审计日志中记录了用户操作信息,可以快速定位系统是否遭受恶意的操作和攻击,并避免审计日志中记录用户敏感信息:确保每一项用户的破坏性业务操作被记录审计,保证用户业务操作可回溯;为系统提供审计日志的查询、导出功能,可为用户提供安全事件的事后追溯、定位问题原因及划分事故责任的重要手段。
(四)数据安全:从集群容灾、备份、数据完整性、数据保密性等方面保证用户数据的安全。
1)文件系统加密:Hive、HBase可以对表、字段加密,集群内部用户信息禁止明文存储;
2)加密灵活:加密算法插件化,可进行扩充,亦可自行开发。非敏感数据可不加密,不影响性能;
3)业务透明:上层业务只需指定敏感数据(Hive和HBase表级、列级加密),加解密过程业务完全不感知。
(五)数据容灾:FusionInsight集群容灾为集群内部保存的用户数据提供实时的异地数据容灾功能;它对外提供了基础的运维工具,包含主备
集群关系维护,数据重建,数据校验,数据同步进展查看等功能。(来源:大数据安全标准化)