30000字硕士毕业论文DeepWeb在查询界面匹配技术中的应用研究
论文类型：硕士毕业论文
论文字数：30000字
论点：信息,匹配,数据库
论文概述：
问题提出目前Web技术不断发展，带来了信息的飞速增长，其中蕴含着海量的有价值信息。最新调查显示，目前整个Web超过了200,000TB的信息量，而且仍在快速的增长。Web中的信息主要通过网页
论文正文：
DeepWeb在查询界面匹配技术中的应用研究
第一章绪论
问题提出目前Web技术不断发展，带来了信息的飞速增长，其中蕴含着海量的有价值信息。最新调查显示[’]，目前整个Web超过了200,000TB的信息量，而且仍在快速的增长。Web中的信息主要通过网页的形式对外发布，不同网页的形式和内容差异很大，而且分布在Internet网上任何一个角落，造成了Web数据的异质性和缺乏结构性。由于以上的这些原因，使得自动从海量的Web信息中获取有价值的信息和数据变成一项很具有挑战性的任务。在Web领域的研究目的在于发展新的技术可以有效地从Web中获取有用的信息。到目前为止，为了有效利用Web上信息，所涉及的Web技术有数据挖掘、机器学习、自然语言处理、统计分析、数据库和信息检索等。一图1.1存储在数据库中丰富的DeepWeb信息整个Web按照信息所蕴含的深度分为两类:SurfaceWeb和DeepWeboSurfaceWeb指能被普通搜索引擎利用爬虫程序通过超链接所检索到的信息，这些信息对搜索引擎是可见的。 而对于DeepWeb而言，目前还没有一个统一的定义，一般是指Web中在线可访问的数据库，称为Web数据库。这些内容是由用户通过特定的查询接口提交查询，由后台数据库动态创建返回给访问者的，由于没有超链接指向这些动态页面，因而搜索引擎不能检索到。DeepWeb页面与SurfaceWeb页面在本质上有很大不同，DeepWeb页面内容存储在可访问的数据库中，如图1.1所示。DeepWeb之所以被人们备受关注，主要因为其信息的海量性和专业性。2000年7月，Brightplanet对DeepWeb做了一次较为全面的宏观统计，发布了DeepWeb的白皮书，指出整个Web中大约有43,000-96,000个Web数据库。UIUC大学在2004年4月对整个DeepWeb做了一次较为准确的估算[f21，推测整个Web中有307000个提供Web数据库的网站、450000个Web数据库，比Brightplanet在2000年估计的数据库网站数目增长了3-7倍。以下是从宏观上对DeepWeb做了定量的调查统计，结果表明:(1)整个DeepWeb覆盖了世界的各个领域，例如商业、教育、政府等。但就单个DeepWeb而言，有超过50%的DeepWeb内容是特定于某个领域的，即领域专一化;(2)DeepWeb中的后台数据库大多是结构化的，其中结构化的数据库是非结构化的3.4倍之多;(3)Web数据库查询接口往往位于站点浅层，94%之多的大量Web数据库查询接口可以在站点前3层发现;(4)对DeepWeb的数据访问量比SurfaceWeb要高出15%，其信息质量远远高于SurfaceWeb;(5)DeepWeb上95%的信息是可以公开访问的，即可以免费获取。 目前一些DeepWeb目录服务已经开始索引Web数据库，但是它们的覆盖率比较小，仅为0.2%一15.6%0尽管DeepWeb信息具有如上众多优点，但是由于目前Web数据库存在规模大、自治性、异质性、动态性等问题，要想全面而准确地利用DeepWeb信息并不是一件容易的事，因此对于DeepWeb的研究日益成为研究热点。目前在DeepWeb这个领域，己经建立了一个DeepWeb信息集成系统框架。查询接口匹配是查询接口集成至关重要的一步，也是整个DeepWeb信息集成系统的基础，因此查询接口匹配技术在Deepweb研究领域有着重要地位。目前国内这方面的研究很少。 参考文献[1] Fetterly D, Manasse M, Najork M, et al. A large-scale study of the evolution of web pages[C]//Proceedings of the 12th International World Wide Web Conference, Budapest, 2003:669-678 Chang K. C, He B, Li C, et al. Structured databases on the web: Observations andImplications [J]. SIGMOD Record, 2004, 33(3): 61-70 Deep Web Technology汇EB/OL]. (2005-10). http://www.deepwebtech.com Invisiable.com [EB/OL]. (2005-10). http://www.invisiable.com M. K. Bergman. The Deep Web: Surfacing Hidden Value [J]. The Journal of Electronic Publishing, 2001，7( I ): 8912-8914 MetaQuerier Research Group [EB/OL]. (2006-06). http://metaquerier.cs.uiuc.edu/ Hasan Davulcu, Juliana Freire, Michael Kifer, et al. A layered architecture for queryingdynamic Web content[C]//Proc of International Conference on Management of Data. NewYork: ACM Press, 1999: S. Raghavan, H. Garcia-Molina. Crawling the hidden Web[C]//Proceedings of the 27thInternational Conference on Very Large Data Bases, Roma, Italy, 2001:129-138 QProber Research Group [EB/OL]. Accessible at http://qprober.cs.columbia.edu/Oct 2005 Robert B.Doorenbos, Oren Etzioni, Daniels Weld. A scalable comparison shopping agentfor the World-Wide Web[CJ//Proc of the First International Conference on AutonomousL.Barbosa, J.Freire. Siphoning hidden-web data through keyword-based interfaces[CJ//Procof the Brazilian Symposium on Database, New York: ACM Press, 2004: 309-321Michael K. Bergman. Deep Web White Paper [EB/OL]. (2004-10). http://brighplanet.comChris Sherman, Gary Price. The Invisible Web: Uncovering Information Sources SearchEngines Can\'t See [J]. Library Trends. 2003(2): 282-298中国互联网络信息中心((CNNIC)，第23次中国互联网络发展状况统计报告〔R].2009,23-25 Cope J., Craswel N., Hawking D. Automated discovery of search interfaces on the Web 摘要 5-7 ABSTRACT 7-8 第一章 绪论 11-20 1.1 问题提出 11-13 1.2 研究现状 13-18 1.3 论文研究内容 18 1.4 论文结构安排 18-20 第二章 查询接口匹配技术 20-35 2.1 Deep Web信息集成系统 20-24 2.2 查询接口匹配技术 24-32 2.2.1 基于模式的匹配技术 25-29 2.2.2 基于实例的匹配技术 29-31 2.2.3 现有技术的不足 31-32 2.3 本文研究框架 32-34 2.4 本章小结 34-35 第三章 基于关联挖掘的成组属性生成方法 35-46 3.1 工作流程 35 3.2 数据预处理 35-36 3.3 关联挖掘 36-43 3.3.1 相关度度量标准 38-40 3.3.2 属性矩阵 40-43 3.4 实验步骤与结果分析 43-45 3.4.1 实验步骤 43 3.4.2 结果分析 43-45 3.5 本章小结 45-46 第四章 基于语义聚类的同义属性生成方法 46-55 4.1 工作流程 46 4.2 语义聚类 46-50 4.2.1 语义相似度 47-49 4.2.2 数据域相似度 49-50 4.3 匹配筛选 50-52 4.3.1 排序 51-52 4.3.2 选择 52 4.4 实验结果分析 52-54 4.5 本章小结 54-55 第五章 面向图书领域的Deep Web集成系统 55-69 5.1 系统目标 55-57 5.1.1 性能目标 55-56 5.1.2 功能目标 56-57 5.2 系统总体设计 57-58 5.3 系统详细设计 58-62 5.3.1 检索模块设计 58-59 5.3.2 配置模块设计 59-62 5.4 系统实现 62-68 5.4.1 检索模块实现 62-65 5.4.2 配置模块实现 65-68 5.5 本章小结 68-69 第六章 总结与展望 69-71 6.1 工作总结 69 6.2 工作展望 69-71 致谢 71-72