集群计算机系统设计.doc
约60页DOC格式手机打开展开
集群计算机系统设计,硕士论文页数：60字数：27993摘要通信性能是影响集群系统实际并行处理效率的关键，因此高性能通信系统的研究在整个集群系统中占有非常重要的地位，并且一直是近几年国内外研究的热点。myrinet是集群系统普遍采用的互连网络，具有高带宽、低延迟、扩展性好等优点。基于消息传递的用户态通信协议gm充分利用了m...
内容介绍
此文档由会员 915 发布
集群计算机系统设计
硕士论文
页数：60 字数：27993
摘 要
通信性能是影响集群系统实际并行处理效率的关键，因此高性能通信系统的研究在整个集群系统中占有非常重要的地位，并且一直是近几年国内外研究的热点。Myrinet是集群系统普遍采用的互连网络，具有高带宽、低延迟、扩展性好等优点。基于消息传递的用户态通信协议GM充分利用了Myrinet硬件结构的特点，为上层通信系统或用户应用程序提供高性能高可靠的通信服务。
本论文针对集群通信的需要，主要贡献如下：
1．综述了集群通信的研究目标以及已有的实现技术。基于对一种成熟的集群用户态通信协议GM的分析，针对GM的限制以及可以改进的空间，提出了集群通信面临的新问题。
2．设计并实现了一种基于共享内存的集群系统本地通信协议FMP_Shmem，优化了CLUMPs（CLUsters of MultiProcessors）的本地通信性能。CLUMPs由SMP结点互连而成。由于SMP机器的性能价格比较高，CLUMPs成为超级计算的潮流。FMP_Shmem充分利用了SMP结点的硬件特点，采用共享内存机制在结点内部交换数据。它为每个进程分配独立的发送队列和接收队列，避免了进程间的互斥操作。相比较不采用共享内存机制的GM本地通信性能（延迟26μs，带宽105MB/s），FMP_Shmem的本地通信测试结果可达到延迟2.84μs，带宽272MB/s，性能优化的幅度相当大。
3．提出了MPICH-MNC——基于多通道网络通信的高性能MPI实现方案。MNC协议是GM协议的扩展，针对单通道网络通信性能的提高空间已经不大，提出了多通道网络通信的思想。MNC协议能够控制物理层的多条网络通道并行传输数据。MPICH-MNC以MNC协议为基础，向用户提供规范的MPI编程接口，让底层通信协议MNC的实现细节对用户完全透明，原有的MPI应用程序不必进行任何修改即可在MPICH-MNC平台上运行。MPICH-MNC的设计目标是提高数据传输的带宽以及减少长消息的传输延迟。
关键词：集群，用户层通信，CLUMPs，共享内存，多通道网络通信
Abstract
The communication performance is the critical factor which significantly affects the actual efficiency of parallel processing on clusters, therefore how to achieve high-performance communication systems plays an important role in the research of clusters and has been a hot research topic in recent years. Myrinet is a kind of SAN with high bandwidth, low latency and scalability. It is widely used in cluster systems. GM, a user-level message passing protocol, exploits characteristics of Myrinet, provides data transfer of high performance and reliance for the upper communication layer or applications.
This paper contributes a lot to clusters communication as follows:
1. The research goal and existing technology of clusters communication are presented. Based on the analysis of GM, a well-rounded user-level cluster communication protocol, several new challenges to clusters communication are posed.
2. Designs and implements FMP_Shmem, a local communication protocol based on shared memory for CLUMPs(CLUsters of MultiProcessors), improves the local communication performance of CLUMPs. CLUMPs are constructed with SMPs. CLUMPs have become the trend of super computing due to their cost-performance rates. Based on shared memory, FMP_Shmem allocates one receiving queue and one transmitting queue independently for each process. Such scheme avoids the mutually exclusive operations among processes and achieves considerable performance (the latency is 2.84μs and the bandwidth is as high as 272MB/s).
3. A high performance MPI implementation scheme based on multi-networking communication is presented, known as MPICH-MNC. The MNC protocol extends GM with the support to multi-networking. MNC controls several physical links to perform parallel communication. MPICH-MNC is based on the MNC protocol, provides uniform MPI programming interfaces to users, totally shields the implementation details of low-layer protocols. The existing MPI applications can be ported to MPICH-MNC without any modifications. The design goal of MPICH-MNC is improving data transfer rate and reducing the transfer latency of long message.
Keywords: Clusters, User-level communication, CLUMPs, Shared memory, Multi-networking communication
目 录
摘 要 I
ABSTRACT II
第一章 引言 1
1.1 课题研究的目的与意义 1
1.2 国内外研究现状 1
1.3 论文各部分的内容安排 3
第二章 集群通信与GM协议 4
2.1 集群通信系统概况 4
2.1.1高性能可扩展集群及其通信系统 4
2.1.2集群通信系统体系结构 6
2.1.3集群通信系统研究目标 7
2.1.4常用集群系统通信技术 8
2.1.5几个有代表性的集群通信系统 11
2.2 基于Myrinet的GM协议 14
2.2.1 Myrinet简介 14
2.2.2 GM协议分析 16
2.2.3 Myrinet的性能 18
第三章 基于共享内存的CLUMPS结点本地通信优化 20
3.1 CLUMPs的结构 20
3.2 CLUMPs要解决的两个问题 21
3.2.1 互连网络仍是影响集群通信性能的瓶颈 21
3.2.2基于消息传递的本地通信性能受限 22
3.3 CLUMPs结点内部的共享内存通信 23
3.3.1 AM-II的本地通信机制 23
3.3.2 FMP_Shmem概述 24
3.3.3 FMP_Shmem的数据结构与算法描述 25
3.3.4 FMP_Shmem的性能 26
第四章 支持多通道网络通信的高性能MPI 30
4.1 支持多通道网络通信的集群底层通信协议MNC 30
4.1.1 多通道网络技术 30
4.1.2 支持多通道网络通信的MNC协议 31
4.2 MPI标准与MPICH 33
4.2.1 MPI与MPICH概述 33
4.2.2 MPICH的体系结构 35
4.2.3 抽象设备接口（ADI） 36
4.2.4 Channel接口 37
4.3 MPICH-MNC的设计方案 40
4.3.1 配置文件 40
4.3.2 主要函数的实现 41
4.4 MPI与PVM的比较 43
4.4.1 PVM概述 43
4.4.2 PVM-GM的实现及其与MPI的性能对比 44
第五章 结论与展望 47
参考文献 49
硕士论文
页数：60 字数：27993
摘 要
通信性能是影响集群系统实际并行处理效率的关键，因此高性能通信系统的研究在整个集群系统中占有非常重要的地位，并且一直是近几年国内外研究的热点。Myrinet是集群系统普遍采用的互连网络，具有高带宽、低延迟、扩展性好等优点。基于消息传递的用户态通信协议GM充分利用了Myrinet硬件结构的特点，为上层通信系统或用户应用程序提供高性能高可靠的通信服务。
本论文针对集群通信的需要，主要贡献如下：
1．综述了集群通信的研究目标以及已有的实现技术。基于对一种成熟的集群用户态通信协议GM的分析，针对GM的限制以及可以改进的空间，提出了集群通信面临的新问题。
2．设计并实现了一种基于共享内存的集群系统本地通信协议FMP_Shmem，优化了CLUMPs（CLUsters of MultiProcessors）的本地通信性能。CLUMPs由SMP结点互连而成。由于SMP机器的性能价格比较高，CLUMPs成为超级计算的潮流。FMP_Shmem充分利用了SMP结点的硬件特点，采用共享内存机制在结点内部交换数据。它为每个进程分配独立的发送队列和接收队列，避免了进程间的互斥操作。相比较不采用共享内存机制的GM本地通信性能（延迟26μs，带宽105MB/s），FMP_Shmem的本地通信测试结果可达到延迟2.84μs，带宽272MB/s，性能优化的幅度相当大。
3．提出了MPICH-MNC——基于多通道网络通信的高性能MPI实现方案。MNC协议是GM协议的扩展，针对单通道网络通信性能的提高空间已经不大，提出了多通道网络通信的思想。MNC协议能够控制物理层的多条网络通道并行传输数据。MPICH-MNC以MNC协议为基础，向用户提供规范的MPI编程接口，让底层通信协议MNC的实现细节对用户完全透明，原有的MPI应用程序不必进行任何修改即可在MPICH-MNC平台上运行。MPICH-MNC的设计目标是提高数据传输的带宽以及减少长消息的传输延迟。
关键词：集群，用户层通信，CLUMPs，共享内存，多通道网络通信
Abstract
The communication performance is the critical factor which significantly affects the actual efficiency of parallel processing on clusters, therefore how to achieve high-performance communication systems plays an important role in the research of clusters and has been a hot research topic in recent years. Myrinet is a kind of SAN with high bandwidth, low latency and scalability. It is widely used in cluster systems. GM, a user-level message passing protocol, exploits characteristics of Myrinet, provides data transfer of high performance and reliance for the upper communication layer or applications.
This paper contributes a lot to clusters communication as follows:
1. The research goal and existing technology of clusters communication are presented. Based on the analysis of GM, a well-rounded user-level cluster communication protocol, several new challenges to clusters communication are posed.
2. Designs and implements FMP_Shmem, a local communication protocol based on shared memory for CLUMPs(CLUsters of MultiProcessors), improves the local communication performance of CLUMPs. CLUMPs are constructed with SMPs. CLUMPs have become the trend of super computing due to their cost-performance rates. Based on shared memory, FMP_Shmem allocates one receiving queue and one transmitting queue independently for each process. Such scheme avoids the mutually exclusive operations among processes and achieves considerable performance (the latency is 2.84μs and the bandwidth is as high as 272MB/s).
3. A high performance MPI implementation scheme based on multi-networking communication is presented, known as MPICH-MNC. The MNC protocol extends GM with the support to multi-networking. MNC controls several physical links to perform parallel communication. MPICH-MNC is based on the MNC protocol, provides uniform MPI programming interfaces to users, totally shields the implementation details of low-layer protocols. The existing MPI applications can be ported to MPICH-MNC without any modifications. The design goal of MPICH-MNC is improving data transfer rate and reducing the transfer latency of long message.
Keywords: Clusters, User-level communication, CLUMPs, Shared memory, Multi-networking communication
目 录
摘 要 I
ABSTRACT II
第一章 引言 1
1.1 课题研究的目的与意义 1
1.2 国内外研究现状 1
1.3 论文各部分的内容安排 3
第二章 集群通信与GM协议 4
2.1 集群通信系统概况 4
2.1.1高性能可扩展集群及其通信系统 4
2.1.2集群通信系统体系结构 6
2.1.3集群通信系统研究目标 7
2.1.4常用集群系统通信技术 8
2.1.5几个有代表性的集群通信系统 11
2.2 基于Myrinet的GM协议 14
2.2.1 Myrinet简介 14
2.2.2 GM协议分析 16
2.2.3 Myrinet的性能 18
第三章 基于共享内存的CLUMPS结点本地通信优化 20
3.1 CLUMPs的结构 20
3.2 CLUMPs要解决的两个问题 21
3.2.1 互连网络仍是影响集群通信性能的瓶颈 21
3.2.2基于消息传递的本地通信性能受限 22
3.3 CLUMPs结点内部的共享内存通信 23
3.3.1 AM-II的本地通信机制 23
3.3.2 FMP_Shmem概述 24
3.3.3 FMP_Shmem的数据结构与算法描述 25
3.3.4 FMP_Shmem的性能 26
第四章 支持多通道网络通信的高性能MPI 30
4.1 支持多通道网络通信的集群底层通信协议MNC 30
4.1.1 多通道网络技术 30
4.1.2 支持多通道网络通信的MNC协议 31
4.2 MPI标准与MPICH 33
4.2.1 MPI与MPICH概述 33
4.2.2 MPICH的体系结构 35
4.2.3 抽象设备接口（ADI） 36
4.2.4 Channel接口 37
4.3 MPICH-MNC的设计方案 40
4.3.1 配置文件 40
4.3.2 主要函数的实现 41
4.4 MPI与PVM的比较 43
4.4.1 PVM概述 43
4.4.2 PVM-GM的实现及其与MPI的性能对比 44
第五章 结论与展望 47
参考文献 49
