层次分类的网络内容监管系统中串匹配算法的设计.rar

页数：70页
摘要：互联网上的反动、暴力、淫秽等非法信息使得网络内容监管日益重要。本文在对网络内容监管方面的研究现状进行分析后，采用一种层次分类的方法，即在信息识别过程中，先将网络信息进行关键字过滤，然后再将含指定关键字的信息内容传送给语义分析模块进行处理，从而减轻语义分析的压力，提高系统效率，并且适合于非法信息多变的特点。
关键字过滤通过串匹配算法实现，并且已成为系统性能的瓶颈。为此，本文分析了现有串匹配算法（包括单模式串匹配算法和多模式串匹配算法）的特点，设计并实现了一种适合于中文大字符集和网络内容监管的串匹配算法：基于QS算法的单模式串匹配算法（IQS算法）和基于Wu-Manber算法的多模式串匹配算法（IWM算法）。IQS算法主要用于工作人员的日后查阅，而IWM算法主要用于网络信息过滤。并且在中、英文两种环境下以及模式串的不同长度和个数情况下对IQS算法和IWM算法进行了实验比较分析，结果表明在运行时间与尝试次数方面整体优于其它算法，获得了较好的效果。
IQS算法和IWM算法已集成实现在网络内容监管系统中，用真实数据对该系统进行了测试，实验结果表明该算法表现出了较快的运行速度，系统的各项性能指标均已达到预定目标。