面向校园网的网络爬虫设计与实现.doc
约38页DOC格式手机打开展开
面向校园网的网络爬虫设计与实现,摘要 互联网是一个庞大的信息系统，网络中充斥着各式各样的信息，如今各大高校都有自己的官方网站，网站上的信息层出不穷，随着时代信息技术的发展，硬件、软件等方面的性能都有很大的提高，不过面对庞大的信息网络，我们想搜索到自己所需要的信息有时显得力不从心，甚至如大海捞针一般。本论文介绍了网络爬虫的...
内容介绍
此文档由会员 那年三月 发布
面向校园网的网络爬虫设计与实现
摘要 互联网是一个庞大的信息系统，网络中充斥着各式各样的信息，如今各大高校都有自己的官方网站，网站上的信息层出不穷，随着时代信息技术的发展，硬件、软件等方面的性能都有很大的提高，不过面对庞大的信息网络，我们想搜索到自己所需要的信息有时显得力不从心，甚至如大海捞针一般。
本论文介绍了网络爬虫的发展状况和研究背景，对相关的技术进行了相应的介绍，以及对系统设计的分析与研究，基于Heritrix网络爬虫架构和实现技术，随之讲解了网络爬虫工作的一般流程，对网页爬取、网页解析、网页存取做了一定的分析
