bp神经网络的异常点检测应用可行性研究 本科毕业设计（论文）.doc

BP神经网络的异常点检测应用可行性研究 本科毕业设计（论文）

摘  要

异常点数据是指数据集中与众不同数据。这部分数据的量小，但是对于我们的日常生产生活的影响极大。因此，异常点检测被广泛应用于网络入侵检测，金融保险，天气预报以及新药研制等领域。相对于大量的正常数据挖掘而言，异常点检测被称作小模式数据挖掘。BP算法是一种常用的数据挖掘算法。但是BP算法进行实际数据的异常点数据挖掘过程中存在：实际数据的维数较高，存在冗余特征的干扰，以及在高维特征下，数据量不充分的问题。因此，本文分析BP神经网络处理各种数据的情况，并得到以下结果。（1）BP神经网络能够较好的分离特征单一的仿真数据；但是（2）特征相似性较大的数据集，难以分离判断；（3）正常数据不充分或者不具有代表性，因此正常数据类学习不充分，从而导致异常无法判断。针对以上问题，本文提出了以下的改进措施：（1）BP算法前进行特征约简（映射）从中选取有益于异常检测的特征（2）多神经网络融合，不同神经网络识别不同的特征，相互取长补短，融合后得到最终的结果。

关键字：异常，BP，异常点检测，神经网络

注：本设计（论文）题目来源于教师的国家级（或部级、省级、厅级、市级、校级、企业）科研项目，项目编号为：          。

 
Abstract

Outlier data is the data set different data. This part of the small amount of data, but for our daily production and life of great. Therefore, the anomaly detection is widely used in network intrusion detection, finance, insurance, weather, and new drug development and other fields. Relative to the large number of normal data mining, the anomaly detection model is called data mining small. BP algorithm is a commonly used data mining algorithm. But the BP algorithm to real data outliers exist in the data mining process: the higher the dimension of the actual data, there are redundant features of the interference, and high-dimensional feature, the issue of inadequate data. Therefore, this paper analyzes a variety of BP neural network processing of data, and to get the following results. (1) BP neural network can better separation characteristics of a single simulation data; but (2) the characteristics of similar large data sets, separation is difficult to judge; (3) normal data is not sufficient or not representative, so the normal data class learning is not sufficient, leading to abnormal can not judge. To solve the above problem, this paper proposes the following improvements: (1) BP algorithm before feature reduction (map) benefit from anomaly detection features selected (2) integration of multiple neural networks, different neural network to recognize the different characteristics of each each other, the final fusion result.

Key Words：Outliers-Data，BP，Algorithms，Neural Networks
 
目  录
1引言 1
1.1背景 1
1.2 传统已有异常点算法介绍 1
1.2.1基于统计学的异常点检测算法 1
1.2.2基于距离的异常点检测算法 2
1.2.3基于密度的算法 3
1.2.4基于偏差的异常点检测 5
1.2.5基于聚类的异常点检测算法 6
2基于属性特征在异常点检测中的研究 7
3 BP神经网络介绍 9
3.1模型简介 9
3.2计算各层节点输出 9
3.3 修正权值 10
4 异常检测中BP神经网络的设计 13
4.1可微阈值单元 13
4.2单个BP网络结构设计 13
4.3BP神经网络学习过程的基本步骤 14
5实验研究 17
5.1研究使用的数据库介绍 17
5.2训练方案一实验：把bp神经网络相似性代替距离算法相似度量 17
5.3训练方案二实验：用单个神经网络对训练数据库整体特性进行学习 18
5.4训练方案三实验：多神经网络各种形式训练及其决策 19
5.4.1实验设计思路 19
5.4.2实验方案及步骤 20
5.4.3实验分析 22
5.4.4实验失败原因分析 23
5.5BP调参实验 25
5.5.1对实验一调整隐层实验 25
5.5.2对实验二调整隐层实验 26
5.5.3对实验三调整隐层实验 29
5.6数据仿真实验 31
5.6.1实验思路 31
5.6.2实验步骤 31
5.6.3实验结果 32
5.6.4结果分析 33
5.7实验整体分析 33
总结与展望 35
致谢 39