580000字硕士毕业论文公安信息转换系统中数据存储技术的设计方法

论文类型：硕士毕业论文

论文字数：580000字

论点：数据,数据仓库,分析

论文概述：

研究数据仓库的设计方法学和设计工具，以便更好地支持聚集层次问题、多维模型和关系模型的映射问题。本文为充分利用现有公安信息资源，深入挖掘目前已建成的应用数据库的信息，获得深

论文正文：

第一章绪论

2数据仓库技术的研究现状

1.2.1数据仓库和OLAP技术
数据仓库技术起源于20世纪80年代初英蒙对“记录系统”、“原始数据”和“决策支持数据库”的研究。1988年，德夫利和梅·斯塔尔菲(M Staring phy)发表了第一篇关于数据仓库的论文，披露了IBM的内部研究计划。目的是构建一个“基于关系数据库的公司数据集成仓库”，以便各级决策者可以使用“一套兼容的工具”从仓库中提取有助于决策的信息。1992年，英蒙出版了《建造数据仓库》(BuildingtheDataWarehouse)一书。继BM之后，不仅有一些大型数据库制造商推出了自己的数据仓库，如OraCle的ExpressServer、Sybase的IQ、informi的MetaCube等。其他计算机制造商也相继开发了大量数据仓库产品，如SAS、铂金、红宝石(RedBriek)、SPSS、棱镜、Arbor等。据META集团调查，数据仓库市场(包括硬件、数据库软件和工具)从1998年的180亿美元快速增长到2006年的1080亿美元。
斯坦福大学的数据仓库项目在学术界的数据仓库研究中处于领先地位。他们提出了一个具有普遍代表性的数据仓库体系结构，并围绕该体系结构的各个环节进行了深入研究。
在实际决策过程中，决策者希望从多个角度观察一个或多个指标的值，找出这些指标之间的关系。为此，人们已经研究多维分析技术将近20年了。由于关系数据库系统在多维数据分析能力上的局限性，以及传统的数据分析软件不适合动态数据分析，多维数据分析能力受到很大限制。关系数据库之父E.F.Codd认为关系数据库的目标是在线事务处理。然而，强大的数据合成和分析功能应该由OLAP完成，它是一个补充关系数据库的前端工具。一般来说，作为多维数据分析技术，
OLAP执行以下功能:1)给出数据仓库中数据的多维视图。2)通常包括交互式查询和数据分析。3)提供分析建模功能。4)生成汇总数据、汇总和层次结构，并审核每个维度交叉点的汇总和概括。5)支持预测、趋势分析和统计分析的功能模型。6)在二维或三维表格、图表和图形中检索和显示数据，并能容易地变换参考轴。7)非常快速地回答问题。8)它具有多维数据存储引擎，并按阵列存储数据。

2.2主要研究领域
当前数据仓库技术和在线分析处理技术的主要研究领域是:
l)数据仓库建模与设计。研究数据仓库的设计方法和设计工具，以更好地支持聚合级问题、多维模型和关系模型的映射问题以及早期设计阶段使用的划分和聚合成本模型。此外，关于适应整合现有观点的研究。................................
.............................................

第2章数据仓库技术

2.1简介现代报告结构使用户能够访问所需数据。然而，它不能解决用户的所有问题。用户可以访问数据，但不能保持数据的完整性。它也不能保证系统的响应时间能够满足需要。它不能保证您的系统在数据生命周期结束之前不会擦除您的数据。事实上，只允许用户访问数据只涉及很小一部分数据问题。
随着计算机技术的快速发展和企业界的不断需求，数据仓库技术应运而生。传统的数据库技术是单一的数据资源，即以数据库为中心，从事各种类型的数据处理，如事务处理、批处理、决策分析等。
近年来，随着计算机和网络计算的应用，它们开始向两个不同的方向发展。一个是广度计算，另一个是深度计算。宽度计算的意义是最大限度地扩大计算机的应用范围，同时实现广泛的数据交换。互联网是广度计算的特征。另一方面，人们对以往计算机的简单数据操作提出了更高的要求，希望计算机能够更多地参与数据分析和决策等地方。特别是，数据库处理可以大致分为两类:操作处理和分析处理(或信息处理)。这种分离在数据处理的分析环境和操作环境之间划出了一条清晰的界线，从而从以单个数据库为中心的原始数据环境发展到一个新的环境:系统环境。
作为一种数据管理手段，数据库系统自诞生以来主要用于事务处理。经过几十年的发展，大量的日常业务数据已经保存在这些数据库中。传统的商业系统通常直接建立在这个交易环境上。随着技术的进步，人们试图让计算机做更多的工作，数据库技术一直试图使自己能够胜任从事务处理、批处理到分析处理的各种类型的信息处理任务。后来，人们逐渐意识到这种功能在目前的计算机处理能力下根本无法实现。此外，另一方面，事务处理和分析处理具有非常不同的属性，因此直接使用事务处理环境来支持决策是不可行的。交易环境不适合决策支持系统应用的主要原因有五个:
(1)交易处理和分析处理具有不同的性能特征。
在事务处理环境中，用户行为的特点是数据访问频率高，每次操作处理时间短:在分析处理环境中，用户行为模式与此完全不同，决策支持系统(DSS)应用程序可能需要连续几个小时，从而消耗大量系统资源。将处理性能如此不同的两个应用程序放在同一个环境中显然是不合适的。............................
..............................

第3章数据提取、清洗和转换技术.........................................17
3.1导言.................................................................................................17
3.2数据源......................................................................................17
3.2.1数据提取....................................................................................17
3.2.2数据刷新....................................................................................18
3.2.3数据有效性检查.....................................................................18
第4章在线分析处理(OLAP)技术...........................................20
4.1导言..............................................................................................20
4.2 LAP概念和功能.......................................................................20
4.2.1OLAP的法律定义....................................................................................20
4.3 LAP数据模型.......................................................................21
4.3.1数据模型....................................................................................21
4.3.2执行....................................................................................21
4.4 4.4 LTP与OLAP的关系及比较...........................................22
4.5 OLAP的特色....................................................................................23[/br/ ]4.5.1多维OLAP和关系OLAP..............................23
4.6 OLAP评价标准....................................................................26
4.7流行的OLAP工具.......................................................................26
4.7.1市场份额比较.......................................................................26[/溴/]4.7.2产品结构的比较.......................................................................28
4 . 7 . 3 OLAP服务器的比较............................................................29
4.7.4产品性能比较.......................................................................29

摘要
(1)该系统综合考虑了国内外较为流行的商业智能解决方案，采用了国际商用机器公司的全套解决方案，是国内外使用最广泛的解决方案之一。该系统采用了数据仓库应用领域的国际先进技术，在我国政府机构中的应用更加先进。
(2)数据仓库技术不同于一般的数据统计，大大提高了数据分析的效率，提供了整合不同业务数据的能力，使得处理超大数据成为可能，并提供丰富灵活的在线分析功能。统计报告功能将在已建立的应用数据库系统中可用。这是为该数据库的主要数据项制作的多维二维数据报告。系统完成后不适合更改或添加。数据仓库技术的优势在于它建立了一个多维的数据模型，可以满足不同的需求。
(3)在数据集成和参与建模过程中引入新变量和重写新数据条件，以获取更多信息。例如，逃亡人员历史库和被盗和被抢车辆库都做了这项工作，这使我们能够获得逃亡人员被捕时间的分析和车辆制造商模型的具体结果。
(4)该系统提供以前难以获得的分析结果。由于数据库中数据的快速增长，一些业务系统的数据记录已经达到数亿甚至数十亿(如出入境信息)。使用传统的报表统计方法需要太长的计算时间，并且占用大量的硬件资源。该系统通过定期数据提取解决了这一问题。
(5)数据量增量计算。例如，出入境管理数据的数量非常大，每月增加1000多万。增量计算用于解决数据更新问题。目前，它每10天计算一次。
(6)该系统能够集成来自不同业务系统的数据。以前，不可能同时分析两个不同系统的数据，或者只能手动分析。系统通过连接不同的数据源和建立新的数据模型来实现这一功能。
(7)解决不同应用程序数据库之间的关联问题。也就是说，来自不同数据源的数据被提取、转换并集成到数据仓库中，从而获得无法在单个数据库中计数的结果。
例如，我们对出入境管理和台湾同胞签注数据库进行了相关分析，可以快速了解已经有签注数据的台湾同胞的实际出入境情况。
在实际应用中，系统运行良好，产生了许多有价值的分析结果和有说服力的分析报告，为各级领导决策提供了科学依据，为业务部门提供了有效的信息服务。
..............................

参考
[1]邵勇。[7.0数据仓库框架】。武汉:武汉大学出版社。2004年
[2]拉尔夫·金巴尔·玛格丽特·罗斯。http://sblunwen.com/gasxlw/《数据库工具包》(见附件)。英国:约翰·威利父子，2001
[3]张普生。[数据仓库技术指南。北京:人民邮电出版社，2005
[4]埃里克斯佩里。[企业数据仓库的规划与实施。北京:人民邮电出版社。2008年
[5]威利拉。乔维(美国)。“面向对象数据仓库的设计”。北京:机械工业出版社，2006
[6]黄金彩陈文卫。数据仓库和数据挖掘[。北京:电子工业出版社，2006
[7]克洛德·伊恩霍夫，尼古拉斯·加利努诺。乔纳森。盖革(美国)。数据仓库设计[。北京:机械出版社，2003
[8]陈京民。数据仓库的原理、设计和应用[。北京:中国水利水电出版社。2006
[9]组合创作室。[数据仓库设计和使用指南。北京:清华大学出版社，2004
[10]沈昭阳。[数据仓库和分析服务有限公司。北京:清华大学出版社。2005年
[11]彭慕根。数据仓库技术及其实现[。北京:电子工业出版社，2008
[12]西德尔曼:拉里萨尔普库莫斯。薛王宇，剑锋译。数据仓库项目管理[。北京:清华大学出版社。2005年
[13]拉尔夫·金博尔，玛格丽特·罗斯〔美国[〕。Trans。谭金铭。一盒数据仓库:维度建模完整指南(第二版)[。北京:电子_上海出版社，2007
[14]霍国庆。企业战略信息管理[。北京:科学出版社。2003
[15]张瑞军。[管理信息化理论与实践探索。北京:中国人民大学出版社，2004
[16]马云。[战略数据规划方法论。北京:清华大学出版社，2004
[17]高福贤。信息资源规划[硕士]。北京:清华大学出版社。2005
[18]夏中华。信息与企业竞争力五部作品[。北京:企业管理出版社，1997年
[19]周洪峰。[信息资源开发利用策略。北京:中国发展出版社，2000
[20]徐孝义。CIMS计算机集成制造系统知识的新诠释。北京:武器工业出版社，2006