基于weka数据挖掘工具的设计与开发.doc

目 录
摘 要 I
Abstract II
第1章 绪 论 1
1.1 课题背景 1
1.2 国内外数据挖掘的应用与研究现状 1
1.3 课题意义 2
1.4 本文内容 3
第2章 数据挖掘简介 4
2.1 数据挖掘 4
2.1.1 数据挖掘的定义 4
2.1.2 数据挖掘的方法 5
2.1.3 数据挖掘流程 7
2.1.4 数据挖掘的应用 7
2.1.5 数据挖掘工具 9
2.2 聚类分析方法 10
2.3 本章小节 11
第3章 谱聚类分析方法基础理论 12
3.1 相似图 12
3.1.1 图符号 12
3.1.2 几种相似图 13
3.2 谱聚类分析方法的原理 14
3.2.1 多路规一化截断 14
3.2.2 求解K-路规一化分割 16
3.2.3 谱聚类算法 21
3.3 本章小节 23
第4章 谱聚类分析方法在Weka中的设计与实现 24
4.1 Weka数据挖掘工具的基本结构 24
4.1.1 Weka的系统构架 24
4.1.2 ARFF(Attribute-Relation File Format)文件结构 25
4.2 Weka聚类器的相关接口概述 26
4.2.1 聚类器的接口简述 29
4.2.2 聚类器的调用过程 32
4.3 谱聚类算法在Weka中的实现 33
4.3.1 谱聚类算法的方法概述 34
4.3.2 一些重要函数的主要代码说明 35
4.4 本章小节 37
第5章 谱聚类算法的测试与应用 38
5.1 谱聚类算法在Weka中的测试 38
5.2 谱聚类算法的应用 40
5.2.1 公司分拆问题 40
5.2.2 一个3D螺旋图聚类问题 42
5.3 本章小节 43
结 论 44
参考文献 45
致谢 47
附录 48
 
摘 要
随着技术的不断发展，现在的数据挖掘越来越流行，越来越多的人使用机器学习进行数据挖掘。很多公司都开发了数据挖掘工具，如SPSS公司的Clementine，SAS公司的Enterprise Miner，以及Matlab等商业软件，跟操作系统一样，有开源的Linux操作系统，同样也有开源的数据挖掘工具Weka，R-Project等等。本文主要对Weka来进行开发，往Weka里加入谱聚类算法，谱聚类算法是一个相当成熟的聚类算法，虽然它利用到很多的矩阵运算，花的时间多，但谱聚类的结果比k-均值等其它聚类算法要好。首先要解一个松弛过的连续优化问题，进行特征分解，阐明通过正交变换特征向量产生所有最优解，然后解一个离散优化问题，探索解离散值得到最邻近连续最优解。离散化在迭代过程中能高效的利用奇异值分解和无限制方程进行计算，由此得出的离散解接近全局最优。最后把谱聚类算法集成到Weka后，通过一些实例来对其进行测试。
关键词：数据挖掘、机器学习、Weka、谱聚类、k-均值。
 
Abstract
With the continuous development of technology , now the data mining is Gaining popularity, a lot of people use Machine Learning to do the data mining. Many companies have developed data mining tools, for example, for the Business Software, SPSS’s Clementin, SAS’s Enterprise Miner, Matlab and so on, the same as Operating System(OS), there is an open source OS Linux, also the open source data mining tools just as Weka, R-Project and so on. And we use Weka to do Secondary Development, add the Spectral Clustering algorithm into Weka, Spectral Clustering algorithm is A very mature clustering algorithm, though it use a lot of matrix to compute, spent a lot of time, its result of cluster is more better than k-means and other clustering algorithm. we first solve a relaxed continuous optimization problem by eigendecomposition. We clarify the role of eigenvectors as a generator of all optimal solutions through orthonormal transforms. We then solve an optimal discretization problem, which seeks a discrete solution closest to the continuous optima. The discretization is efficiently computed in an iterative fashion using singular value decomposition and nonmaximum suppression. The resulting discrete solutions are nearly global optimal. Finally, spectral clustering algorithm is integrated into Weka, and through some examples of its testing.
Keywords: data mining, machine learning, weka, spectral clustering, k-means.