hadoop漏洞_一种基于对hadoop安全漏洞的检测方法与流程

本发明属于大数据领域，具体涉及一种基于对hadoop安全漏洞的检测方法。

背景技术：

Hadoop由多个组件组成，因此Hadoop集群的安全表示确保每个组件的安全，这就使得Hadoop集群安全变成了一项复杂的任务。

企业数据包含和销售、客户信息、人力资源等相关的关键信息，在ERP、CRM、总账系统等信息管理系统中安全地存放。在最近的十年，各种数据安全事故造成数十亿美元的损失，也促使企业数据安全保障技术趋于成熟。随着服务业的成长和成熟，大多数系统大部分时间要开放给供应商来处理关键客户信息。因此，形成了很多安全和隐私保护的相关标准，包括HIPAA、HITECH、PCI、SOX、ISO和COBIT。因此需要服务提供者严格遵守这些标准来全面保护客户的数据。这也为企业内服务提供者和客户提供了强有力的数据安全保护措施，不会容忍任何数据安全违规操作。在过去八年的开发过程中，Hadoop已经日趋成熟，企业已经开始采用Hadoop来满足大数据处理的需要，任何数据安全事故将会导致企业对Hadoop生态系统失去信任。除非商业组织对Hadoop生态系统充满信任，否则他们绝不会冒险来采用这项大数据技术，因此，大数据项目成功或失败的关键就在于数据生态系统如何保证数据的安全，及时对漏洞进行检查清理是非常有必要的。

技术实现要素：

本发明的目的在于提供一种基于对hadoop安全漏洞的检测方法，可以对系统进行实时监控，第一时间对系统的核心组件扫描并生成报告，减少了漏洞对系统的危害，保障了企业数据的安全性。

为实现上述目的，本发明的技术方案是：一种基于对hadoop安全漏洞的检测方法，包括如下步骤：

步骤S1、设立hadoop安全漏洞数据库，添加hadoop核心组件扫描的对象；

步骤S2、通过对扫描对象添加扫描策略及配置后，生成扫描任务；

步骤S3、调用扫描引擎对步骤S2已经创建好的扫描任务进行扫描；

步骤S4、扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测；

步骤S5、当步骤S4扫描任务和扫描策略无需修改时，扫描执行直到扫描任务结束；当扫描任务和扫描策略需要修改时，可停止扫描任务进行扫描任务和扫描策略的修改，而后重新执行扫描任务：

步骤S6、扫描任务结束后，生成扫描结果，据系统内置的扫描报告模版，输出扫描结果报告，向用户提供扫描结果和扫描报告。

在本发明一实施例中，所述步骤S1中，扫描的对象包括扫描目标主机的开放端口、指纹信息、信息泄露及hadoop版本信息的检测，以及对hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离的检查。

在本发明一实施例中，所述步骤S3中，扫描引擎包括hadoop漏洞、虚拟化漏洞、配置检查、端口扫描、指纹信息、弱口令资源隔离检查的扫描引擎。

在本发明一实施例中，所述步骤S3中，扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测的具体实现过程为：采用授权扫描的爬虫技术获取包括hbase、hive、MapReduce、HDFS的hadoop组件的漏洞，依照可配置的扫描策略及扫描配置对hadoop组件进行漏洞探测，采用授权扫描及导入包括raw、cow、qcow、vmdk格式的镜像文件进行检测；实现检查KVM1.2、Xen4.0、Vmware5.0以上版本的虚拟机平台的安全漏洞检测、资源干扰检测、防加载恶意软件检测、存储隔离检测、内存隔离检测、网络隔离检测和磁盘用户数据残留检测，并通过调用对应扫描引擎，对扫描任务中包括hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离、指纹信息，根据扫描策略集逐一进行扫描，完成目标的弱点检测任务。

在本发明一实施例中，所述步骤S6中，扫描结果报告包括对Hadoop安全漏洞的名称、发现时间、对应版本、漏洞说明、修复建议的描述，并存储到所述Hadoop安全漏洞数据库。

在本发明一实施例中，所述步骤S3中，扫描引擎是VMM漏洞检查工具，基于系统实现检查KVM、Xen虚拟机是否存在漏洞开发。

相较于现有技术，本发明具有以下有益效果：本发明可以对系统进行实时监控，第一时间对系统的核心组件扫描并生成报告，减少了漏洞对系统的危害，保障了企业数据的安全性。

具体实施方式

下面，对本发明的技术方案进行具体说明。

本发明提供了一种基于对hadoop安全漏洞的检测方法，包括如下步骤：

步骤S1、设立hadoop安全漏洞数据库，添加hadoop核心组件扫描的对象；

步骤S2、通过对扫描对象添加扫描策略及配置后，生成扫描任务；

步骤S3、调用扫描引擎对步骤S2已经创建好的扫描任务进行扫描；

步骤S4、扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测；

步骤S5、当步骤S4扫描任务和扫描策略无需修改时，扫描执行直到扫描任务结束；当扫描任务和扫描策略需要修改时，可停止扫描任务进行扫描任务和扫描策略的修改，而后重新执行扫描任务：

步骤S6、扫描任务结束后，生成扫描结果，据系统内置的扫描报告模版，输出扫描结果报告，向用户提供扫描结果和扫描报告。

所述步骤S1中，扫描的对象包括扫描目标主机的开放端口、指纹信息、信息泄露及hadoop版本信息的检测，以及对hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离的检查。

所述步骤S3中，扫描引擎包括hadoop漏洞、虚拟化漏洞、配置检查、端口扫描、指纹信息、弱口令资源隔离检查的扫描引擎。所述步骤S3中，扫描引擎自动对扫描对象的目录和文件进行爬行的同时，实现对扫描对象的边爬行边探测的具体实现过程为：采用授权扫描的爬虫技术获取包括hbase、hive、MapReduce、HDFS的hadoop组件的漏洞，依照可配置的扫描策略及扫描配置对hadoop组件进行漏洞探测，采用授权扫描及导入包括raw、cow、qcow、vmdk格式的镜像文件进行检测；实现检查KVM1.2、Xen4.0、Vmware5.0以上版本的虚拟机平台的安全漏洞检测、资源干扰检测、防加载恶意软件检测、存储隔离检测、内存隔离检测、网络隔离检测和磁盘用户数据残留检测，并通过调用对应扫描引擎，对扫描任务中包括hadoop漏洞、hadoop组件安全配置、hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离、指纹信息，根据扫描策略集逐一进行扫描，完成目标的弱点检测任务。所述步骤S3中，扫描引擎是VMM漏洞检查工具，基于系统实现检查KVM、Xen虚拟机是否存在漏洞开发。

所述步骤S6中，扫描结果报告包括对Hadoop安全漏洞的名称、发现时间、对应版本、漏洞说明、修复建议的描述，并存储到所述Hadoop安全漏洞数据库。

以下为本发明的具体实现实例。

一种基于对Hadoop安全漏洞的检测方法，按照下述步骤依次进行：

步骤一：设立Hadoop安全漏洞数据库，添加Hadoop核心组件扫描的对象，实现对对象的扫描；

步骤二：通过对步骤一中通过添加扫描对象和扫描策略及配置后，生成扫描任务，实现对扫描对象的扫描；

步骤三：调用扫描引擎对步骤二已经创建好的扫描任务进行扫描；

步骤四：步骤三中被调用的扫描引擎会自动对扫描对象的目录和文件进行爬行，实现对对象的扫描和探测；

步骤五：当步骤四扫描任务没有问题，扫描继续直到任务结束。当扫描任务和策略需要修改时可以停止扫描任务进行修改任务和策略，然后重新执行扫描任务：

步骤六：扫描任务结束后，生成扫描结果，据系统内置的扫描报告模版，输出扫描结果报告，向用户提供扫描结果和扫描报告。

在本实施例中，步骤一中的对对象的扫描项目主要包括hadoop漏洞、虚拟化漏洞、配置检查、端口扫描、资源隔离检查等扫描引擎，能够实现扫描目标主机的开放端口，指纹信息，信息泄露及Hadoop版本信息的检测，以及对hadoop组件安全配置的检测虚拟化漏洞、弱口令资源隔离的检查。

在本实施例中，步骤四中所述扫描引擎对扫描对象目录和文件进行爬行的同时，做到边爬行边探测，其中采用授权扫描的爬虫技术获取hbase、hive、MapReduce、HDFS等主流hadoop组件的漏洞，依照可配置的扫描策略及扫描配置对hadoop组件进行漏洞探测，采用授权扫描及导入raw、cow、qcow、vmdk等格式的镜像文件进行检测。实现检查KVM1.2、Xen4.0、Vmware5.0以上版本的虚拟机平台的安全漏洞检测，资源干扰检测、防加载恶意软件检测、存储隔离检测、内存隔离检测、网络隔离检测和磁盘用户数据残留检测并通过调用对应扫描引擎，对扫描任务中的hadoop漏洞、安全配置、虚拟化漏洞、弱口令、指纹信息等根据扫描策略集逐一进行扫描，完成目标的弱点检测任务。

在本实施例中，步骤六中所述扫描报告包括对Hadoop安全漏洞的名称、发现时间、对应版本、漏洞说明、修复建议的描述并存储到步骤一中的所述Hadoop安全漏洞数据库。

在本实施例中，步骤三中扫描引擎是VMM漏洞检查工具，基于系统实现检查kvm、xen虚拟机是否存在漏洞开发。

最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应该理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。