39560字硕士毕业论文计算机科学硕士论文:基于文本挖掘概念的计算机漏洞自动分类
论文类型：硕士毕业论文
论文字数：39560字
论点：漏洞,分类,系统
论文概述：
本文主要内容包括：深入地分析了当前漏洞分类管理技术的现状，设计和开发了面向安全管理的主动式漏洞扫描器。在此基础上，细致地研究了当前文本挖掘和机器学习领域的最新理论，对已有
论文正文：
第一章导言
1.1主题背景
随着信息技术的飞速发展，互联网和计算机的应用已经渗透到各个行业。从能源、交通、生产、军事、医疗到人们的日常生活，计算机系统和互联网的支持已经变得不可或缺。根据中国互联网信息中心(CNNIC) [1号发布的最新《第30期中国互联网发展统计报告》，截至2012年7月底，中国互联网用户数量已超过5.38亿，互联网普及率达到39.9%，注册网站数量达到183万。此外，各大企业和政府部门也加快了信息化进程。电子信息系统在各个行业的普及率迅速提高。信息系统和网络连接已经成为公司、企业和政府组织最重要的基础设施和资产之一。同时，计算机和网络给各行各业带来了极大的便利，但也带来了巨大的风险和隐患。近年来，随着各行业信息化水平的提高，信息安全问题日益突出。由于信息系统受到攻击而导致的机密信息泄露，诸如私人数据丢失或其他重大损失等安全事件层出不穷。据中国国际商会发布的《报告》，[1]2011年上半年，2.17亿网民(44.7%)感染了病毒或特洛伊木马。然而，根据美国著名安全组织CERT发布的统计数据，自1988年以来，报告的网络安全事件数量以几何倍数快速增长。截至2003年，每年发生的安全事件达到137 529起。然而，自2003年以来，由于自动化攻击工具的广泛传播，对互联网系统的攻击呈爆炸性增长，CERT甚至停止了对[2]安全事件的统计工作。频繁的计算机安全事故给大型企业、组织和个人带来了巨大的损失。因此，信息安全问题已成为近年来科学研究的热点，并已发展成为一门完整的学科。本文研究了信息安全技术中安全管理和风险评估分支下的关键课题之一——漏洞分类管理技术。计算机漏洞是指未经授权的人员在系统设计、实施、维护或操作过程中可能非法利用的软件和硬件缺陷。计算机漏洞是众多信息安全事件的主要罪魁祸首，也是黑客攻击目标系统的主要途径。黑客经常一个接一个地渗透到目标系统中的一系列漏洞中，获取目标系统的非法权限，从而进一步控制和摧毁目标系统。因此，对计算机系统漏洞的不当管理是许多信息安全事故的最直接原因，如何有效、及时地管理计算机系统漏洞是一项非常重要且具有挑战性的任务。在过去十年中，发现的计算机漏洞数量迅速增加。根据美国国家脆弱性数据库(NVD)的统计信息
面对如此大量的计算机漏洞，如何有效地管理和修复它们已经成为一项非常困难的任务。每个系统管理员或负责安全的人都要花费大量的人力和物力来寻找合理的解决方案来修复漏洞强化系统，这其中充满了挑战。一方面，对于如此大量的漏洞，很难确保及时找到安全补丁或有效的修复措施。有时，非官方补丁的不稳定性会增加系统的风险。另一方面，修复一些漏洞可能需要重新启动系统。对于那些需要更高服务连续性的公司来说，这种维修措施通常意味着更高的成本。如果大量漏洞都得到统一修复和处理，不仅会耗费大量人力物力，而且在很多情况下也是不必要的。例如，如果公司A使用的软件环境主要是许可软件，如视窗产品，那么公司的系统管理员应该更加关注那些缓冲区溢出漏洞，因为许可软件的源代码与一般开源软件相比是非公开的，所以发现缓冲区溢出漏洞的概率相对较小，这意味着这些漏洞出现在系统中后会带来更高的风险。但是，如果另一家公司B主要使用开源软件，那么公司B的安全管理员应该更加关注软件配置错误造成的漏洞，因为与授权软件相比，开源软件一般没有完善的帮助文档和售后服务，安全配置开源软件要困难得多。综上所述，如果能有效地对计算机漏洞进行分类和管理，并针对不同类型和安全级别的漏洞采取分类应急预案，不仅可以大大提高计算机漏洞管理的效率，还可以大大降低系统安全维护的成本。因此，脆弱性自动分类模型的研究具有重要的研究意义和应用价值。，截至2012年底，全世界NVD公布和纳入的脆弱性数量已达53，526个，其中每年公布的脆弱性如图1-1所示。此外，随着用户对计算机系统的智能和复杂性要求越来越高，计算机漏洞将越来越多。根据[3]的统计信息，2011年每天发现的漏洞数量为11个，而2012年每天发现的漏洞数量为13个。
[3]
第2章用于安全管理的主动漏洞扫描器
漏洞分类管理的第一步是发现目标系统中的各种漏洞，这也是漏洞扫描器在漏洞管理过程中需要完成的工作。根据漏洞分类管理的具体要求，开发了一种新的安全管理主动漏洞扫描器Vuldis(漏洞发现)，并已应用于中国版权保护中心，获得了计算机软件的版权。
2.1漏洞扫描器简介
目前市场上有许多成熟的漏洞扫描器。世界上最早的漏洞扫描器ISS是1992年一个名叫克里斯的学生在互联网安全实验室工作时编写的扫描工具。它可以远程检测UNIX系统中的各种常见漏洞。国际空间站现已发展成为一个著名的网络安全企业，并取得了巨大成功。此外，微软推出的漏洞分析工具MBSA也可用于轻松发现系统和部署的应用程序中的问题或安全漏洞。另一种漏洞扫描器Nessus彻底改变了计算机安全攻击和防御的流行，被认为是世界上使用最广泛的系统漏洞扫描和分析软件。Nessus最初是由一个名为Tenable Network Security的组织以开源软件的形式发布的。其计划是为计算机安全社区提供一个免费、强大且易于使用的漏洞扫描工具。目前，尼斯已经成为最著名的漏洞扫描器之一。上述漏洞扫描程序可以帮助管理员发现系统中的漏洞，并在系统中提供详细的安全漏洞信息。同时，作为成熟的商业产品，它们具有一定的稳定性、通用性和很好的文档信息。但是，鉴于本文提出的脆弱性分类管理的需求，它们有一定的局限性。一方面，作为商业产品，它们在一定程度上是封闭的。甚至从开源软件开发的Nessus也从第三版完全恢复了程序源代码的版权。这使得我们很难控制漏洞扫描的过程和扫描结果。同时，也很难与漏洞分类模型的其他部分无缝集成。另一方面，上述产品都使用主动模拟攻击来判断漏洞是否存在，这在评估过程中需要很长时间。此外，用于测试漏洞本身的模拟脚本也可能被非法黑客使用，对系统安全构成威胁。因此，基于以上两个考虑，我们开发了一个面向安全管理的主动漏洞扫描器——Vuldis。
第三章改进的SVM二叉树分类算法……19
3.1文本分类技术……19
3.2统计学习理论……21
3.3支持向量机……23
3.4 SVM多级分类扩展方法及其比较……26
3.5基于熵的二叉树构造算法……30
3.6本章概述……35
第4章基于SVM的漏洞分类模型实施……36
4.1基于SVM算法的漏洞自动分类模型……36
4.2脆弱性分类模型的主要概念和数学定义……37
4.3漏洞文本收集和预处理……38
4.3.1漏洞文本收集……38
4.3.2漏洞文本预处理……40
4.4漏洞类别特征词提取……42
4.5脆弱性矢量代表……45
4.6本章概述……45
第五章脆弱性分类实验结果分析……47[/br/ ]5.1评价指标说明……47
5.2实验数据描述……48
5.3漏洞特征词筛选结果……49
5.4漏洞分类测试结果……51
5.5本章概述……54
结论
近年来，计算机和网络安全事件的数量一直在增加，安全事件的严重性也在增加。系统中的各种漏洞是发生这些安全攻击的先决条件之一。在过去的十年里，计算机漏洞数量的爆炸性增长已经成为威胁信息系统安全的主要隐患，对漏洞的研究已经证明，计算机漏洞是无法完全消除和消除的。因此，只有通过对漏洞进行合理的分类管理，并采取及时有效的防范措施，才是网络安全管理中最有效的措施之一。本文的主要工作是在深入研究机器学习和文本分类技术的基础上，将支持向量机分类算法应用到漏洞分类模型中。根据小规模多类别脆弱性分类样本的要求，提出了一种基于脆弱性类别熵的多类别二叉树构建算法。对CERT新发布的2742个漏洞样本进行分类测试，准确率达到84.4%。本文提出的漏洞自动分类模型将大大降低漏洞分类管理的人工成本，使系统管理员能够针对不同类型的漏洞采取相应的措施，降低漏洞修复的成本和影响，具有很强的应用价值和研究意义。本文的主要创新点包括:
1)根据漏洞分类管理的具体要求，开发了一种新型的安全管理主动漏洞扫描器，采用主动非模拟攻击的C/S结构和漏洞检测模式，大大提高了多主机分布式系统的扫描速度，降低了漏洞扫描对主机完整性和稳定性的影响。
2)创新性地提出了一种基于文本分类技术和支持向量机算法的漏洞分类模型，克服了传统漏洞自动管理方案对现有结构化漏洞数据库的依赖，直接从安全组织、软硬件制造商发布的漏洞文字描述和漏洞公告中挖掘出漏洞的类别信息，为后续漏洞修复提供了最新的关键指导。
3)漏洞自动分类模型原型系统采用Python编程语言实现。实现了漏洞文本自动收集、漏洞文本预处理、类别特征词选择、分类二叉树构建、支持向量机训练等关键模块。CERT新发布的2742个漏洞的分类测试验证了分类模型的有效性。
参考
[1] a. 2003年。8(4):34-44。
[2]B.V .哈特利，e .奈特，g .齐姆巴鲁克，c .马夫罗斯。用于评估计算机系统安全性的方法和装置。美国专利，2005年。6889168.
[3]阿·巴扎兹，詹姆斯·阿瑟。走向漏洞分类。2007年夏威夷第40届系统科学年会论文集。夏威夷。
[4]软件漏洞分析。地址:
[5]文特尔、埃洛夫、李永利。漏洞类别标准化。计算机与安全，2008，27:71-83。
[6]劳工部公司。常见漏洞和暴露。
[7] R.P .艾伯特，J.S .钦，J.E .唐纳利等，计算机操作系统的安全性分析和增强。科技。劳伦斯·利弗莫尔实验室NBSIR 76-1041号代表。，RISOS项目，华盛顿州，DC，1976年。
[8] R .比斯贝伊，d .霍林沃斯。保护分析:最终报告。ISI/SR-78-13，南加州大学/信息。Sci。Inst .加利福尼亚州玛丽娜·德尔·雷伊，1978年。
[9]阿斯拉姆，伊·克苏尔。安全故障分类的使用。在第19届全国信息系统安全会议记录中。1996.
[10]文特尔和埃洛夫。协调脆弱性类别[。南非计算机杂志，2002，29:24-31。