We use cookies to improve your experience with our site.

曙光星云:一个异构的千万亿次超级计算机

Dawning Nebulae: A PetaFLOPS Supercomputer with a Heterogeneous Structure

  • 摘要: 曙光星云超级计算机是由中国科学院计算技术研究所和曙光信息产业(北京)有限公司联合研制的高效能计算机系统。它采用了CPU/GPU混合架构,全系统由9280颗六核CPU和4640个Fermi GPU加速部件组成。在2010年6月的第35届TOP500排行榜上,该系统以1.271petaFLOPS的LINPACK实测性能排名第二。它是世界上第3台LINPACK实测性能超过一千万亿次的超级计算机,也是国内首台LINPACK实测性能超过一千万亿次的超级计算机。
    本文对曙光星云在刀片系统设计、异构编程及其优化、通信优化、存储系统设计方面的创新点进行了较为全面的介绍。曙光星云所采用的TC3600系列刀片系统,具有完全的自主知识产权,其单机柜峰值计算能力可达25.7teraFLOPS,并且在系统管理、功耗控制、散热等方面进行了有针对性的加强。针对CPU/GPU异构环境,通过自适应负载平衡、提高片内并行度等异构混合编程的优化技术,单个星云节点的LINPACK效率可达69.89%,达到了同类系统性能的世界先进水平。GPU-Direct等通信优化技术,支持了系统在大规模计算中所面临的通信性能和扩展性挑战。文件I/O子系统的设计包括HVFS和更底层的DCFS3。在1024个刀片节点的聚合带宽测试中,聚合读、写带宽可以分别达到100GB/s和70GB/s。
    良好的性能和出色的性能功耗比,使曙光星云衍生的产品在材料、遥感、物探等多个领域已被成功应用。曙光星云项目及其技术转移的成功有力地证明了CPU/GPU混合架构在未来的超级计算机的设计中极具竞争力。
    曙光星云将安装在国家超级计算(深圳)中心用于构建中国国家网格南方主节点,这将使深圳超算中心跃升为世界上计算能力最强的通用高性能计算中心之一。深圳位于粤港澳地区的核心,是国家经济最为发达和活跃的区域之一。十多年来,深圳已先后成立数十家科研机构,同时,随着深港创新圈建设的深入,香港的大学和研究机构与内地的合作也日益紧密。华南地区和港澳地区对高性能计算的旺盛需求,已使目前该地区的计算能力已经远远不能满足需求。以曙光星云系统为核心,深圳超级计算中心不仅将扭转华南地区计算能力严重不足局面,而且还能形成资源共享优势,使有限的资源得到最有效的利用。建设立足深圳、覆盖港澳台、辐射东南亚的国家超级计算中心,将有力促进国际合作,支撑人才引进与学术交流,大大提高深圳市的科技创新力量,加快自主知识产权的发展和转化,为深圳科技创新提供基础设施保障。

     

    Abstract: Dawning Nebulae is a heterogeneous system composed of 9280 multi-core x86 CPUs and 4640 NVIDIA Fermi GPUs. With a Linpack performance of 1.271 petaFLOPS, it was ranked the second in the TOP500 List released in June 2010. In this paper, key issues in the system design of Dawning Nebulae are introduced. System tuning methodologies aiming at petaFLOPS Linpack result are presented, including algorithmic optimization and communication improvement. The design of its file I/O subsystem, including HVFS and the underlying DCFS3, is also described. Performance evaluations show that the Linpack efficiency of each node reaches 69.89%, and 1024-node aggregate read and write bandwidths exceed 100 GB/s and 70GB/s respectively. The success of Dawning Nebulae has demonstrated the viability of CPU/GPU heterogeneous structure for future designs of supercomputers.

     

/

返回文章
返回