基于lucene的全文搜索引擎设计--毕业设计.doc

基于Lucene的全文搜索引擎设计--毕业设计


摘        要

Web搜索引擎技术是当今网络信息处理领域的一个热点和难点。Web可以看作是一个庞大的分布式网络数据库，对于这样一个信息量飞速增长的数据库，如果人工地去检索和分类将是一项非常巨大的工程，而搜索引擎技术则能够帮助我们更容易地从Web中获取所需信息。
本文阐述了一个全文检索系统的原理及其设计和实现过程。该系统基于B/S模式的JavaWeb平台架构实现，使用MySQL作为系统的数据库，并采用Heritrix，Lucene等优秀的开源框架实现对某网页手机产品信息的检索。系统还利用Struts，Hibernate，Spring等流行的Java开发框架以及面向接口编程很好地实现了对系统的解耦合。在前端使用具备较强UI表现功能的Extjs作为辅助实现了Ajax应用。
本文首先介绍了课题研究背景，然后对系统涉及到的相关技术做了较为详细的说明，最后根据软件工程的开发方法逐步实现系统的功能。
关键词：Web  搜索  手机  Lucene  框架  Ajax
目        录
1 前言 1
1.1 研究目的和意义 1
1.2 课题研究的背景 2
1.3 国内外研究概况 2
2 相关理论知识 3
2.1 Web爬虫Heritrix介绍 3
2.2 Ajax（Asynchronous JavaScript and XML）技术 3
2.3 Struts介绍 4
2.4 Hibernate介绍 6
2.5 Spring介绍 7
2.6 分词技术 8
3 概要设计 9
3.1 系统模块图 9
3.2 网页爬虫模块 9
3.2.1 Heritrix的体系结构图 10
3.2.2 架构分析 10
3.3 网页分析与提取模块 11
3.4 索引建立模块 12
3.5 Web搜索模块 14
4 详细设计 15
4.1 Web爬虫的配置和扩展 15
4.2 网页的分析与数据提取 16
4.3 索引的建立与数据库设计 20
4.3.1 实体对象设计 21
4.3.2 将数据文件转化为对象 22
4.3.3 将对象持久化到数据库 23
4.3.4 建立索引 24
4.4 Web系统模块和搜索模块设计 26
4.4.1 搜索模块设计 27
4.4.2 Web系统模块设计 28
5 用户手册以及测试结果 29
5.1 系统运行准备 29
5.2 使用Heritrix抓取网页 29
5.3 网页数据提取 34
5.4 建立索引和初始化数据库 35
5.5 搜索 36
6 总结 39
6.1 系统存在的问题 39
6.2 开发过程出现的问题 40
6.3 心得体会 40
致    谢 42
参  考  文  献 43
Abstract 44