高容错性分布式文件系统evodfs的设计与实现.docx

高容错性分布式文件系统EvoDFS的设计与实现

2.3万字 48页 原创作品，通过查重系统

摘要
随着互联网技术的飞速发展，产生了大量的数据。海量数据如何高效的存储和访问成为新的挑战，随着文件数量和访问量的迅速增加，传统的文件系统已成为制约互联网应用的瓶颈所在。分布式文件系统有效地解决了海量存储和高并发访问的问题，已成功地为许多应用提供数据存储服务。
本文分析了当前众多的分布式文件系统，重点分析了HDFS和TFS。HDFS适用于存储大文件的场景，而TFS则适用于存储小文件的场景，HDFS和TFS的元数据服务器都由单一结点组成，具有单点失效问题。本文在对分布式文件系统的相关技术进行充分研究的基础上，设计并实现了分布式文件系统EvoDFS。
本文所做的主要工作包括以下几个方面：
1. 设计了EvoDFS的架构。EvoDFS采用纯分布式架构，采用多个元数据服务器和多个数据服务器，元数据服务器和数据服务器数量均可任意扩展。元数据和文件数据都分布存储，采用副本机制提高系统容错性，不存在单点失效，解决了HDFS和TFS等现有分布式文件系统的单点失效问题，大大提高了并发性。
2. 对实现EvoDFS的关键技术进行了研究。EvoDFS采用副本机制和定时检查机制提高系统容错性，使用加锁机制和版本号机制维护系统一致性。元数据管理充分结合了集中式管理和分布式管理的优点。系统采用树形目录结构，使用口令认证方式对用户进行认证，严格区分用户空间。
3. 按照EvoDFS的设计方案和技术选型，实现了EvoDFS。EvoDFS具有高容错性、高并发性、高可伸缩性、高安全性等良好的特性，对大文件和小文件的存储和访问都具有很好的性能，改进了HDFS和TFS等只适用于大文件或小文件的局限，并且EvoDFS采用C++语言实现，相比HDFS具有更高的执行效率。
4. 基于EvoDFS，开发了一套类似百度云盘的应用——臻融存储管家。系统分为客户端和管理端。客户端类似百度云管家，给用户提供文件操作界面。管理端提供存储服务和系统监控界面。
5. 对EvoDFS进行了性能测试。基于臻融存储管家系统对EvoDFS进行性能测试，测试结果表明EvoDFS对文件读写具有较好的性能，并且能够很好的兼容大文件和小文件的存储。


关键词：EvoDFS；分布式文件系统；海量数据存储