We use cookies to improve your experience with our site.

SOCA-DOM:一种针对大数据分析的移动式SoC集群系统

SOCA-DOM: A Mobile System-on-Chip Array System for Analyzing Big Data on the Move

  • 摘要: 1、研究背景(context)
    近年来,各类边缘计算的应用场景使得对移动式大数据分析计算平台的需求激增,譬如在航天飞行和无人机实时视频处理等领域。但现有的边缘计算平台无法满足它们提出的6大新需求,包括硬件架构的体积小、功耗低、重量轻、性能高和扩展性强以及软件部分的高灵活性和低资源消耗。
    2、目的(Objective)
    本文研究旨在研究一种新的移动式大数据处理系统,包括硬件架构和资源管理软件两部分。在硬件上,我们的新架构相比现有的服务器系体积更小,功耗更少和扩展更灵活;在软件上,该资源管理系统能够运行大数据分析应用的同时,消耗更少的硬件资源。
    3、方法(Method)
    作者提出了一种针对大数据分析的移动式SoC集群系统SOCA-DOM,它由可移动的SoC集群(硬件)和基于软件定义的资源管理系统Chameleon(软件)两部分组成。移动式SoC集群主要由若干个轻巧的SoC节点集成在一块通信板上构成,若干个通信板可以灵活搭建成具备高性能和低功耗的便携式集群。此外,作者提出了一种基于资源等价性能的任务调度方法,能提高系统的性能和降低给定大数据分析任务的资源消耗。最后,作者还研究了面向SOCA-DOM的资源配置优化方法,能成倍提高在SOCA-DOM运行的大数据分析任务的性能,做到以有限的资源达到高性能的目的。

    1087-1.jpg
    软件层面上,资源管理系统Chameleon通过采用两层的控制架构,增强ADOM系统的扩展性,并设计了三个平面(控制、配置和数据)的技术使得系统按需使用资源。

    1087-2.jpg
    4、结果(Result & Findings)
    12个Spark大数据标准测试程序能够在SOCA-DOM上运行成功。同时,与具有代表性的工业界资源管理器Mesos对比,Mesos使用的CPU资源高达SOCA-DOM的9.4倍;Mesos消耗的内存多达SOCA-DOM消耗内存的13.5倍。此外,在能耗方面,两台标准Xeon服务器的能耗是16个节点的SOCA-DOM能耗的4倍。
    5、结论(Conclusions)
    作者设计了新的移动式SoC集群系统SOCA-DOM以满足移动式大数据分析计算平台的六大需求。实验表明,SOCA-DOM能够运行典型的Spark大数据分析应用,并达到了体积小、功耗低、重量轻、性能高、扩展性强和低资源消耗的效果。这说明,一种由细粒度硬件单元构成的阵列体系结构和软件定义的资源管理软件构成的系统,能很好地在移动中进行大数据分析。

     

    Abstract: Recently, analyzing big data on the move is booming. It requires that the hardware resource should be low volume, low power, light in weight, high-performance, and highly scalable whereas the management software should be flexible and consume little hardware resource. To meet these requirements, we present a system named SOCA-DOM that encompasses a mobile system-on-chip array architecture and a two-tier “software-defined” resource manager named Chameleon. First, we design an Ethernet communication board to support an array of mobile system-on-chips. Second, we propose a two-tier software architecture for Chameleon to make it flexible. Third, we devise data, configuration, and control planes for Chameleon to make it “software-defined” and in turn consume hardware resources on demand. Fourth, we design an accurate synthetic metric that represents the computational power of a computing node. We employ 12 Apache Spark benchmarks to evaluate SOCA-DOM. Surprisingly, SOCA-DOM consumes up to 9.4x less CPU resources and 13.5x less memory than Mesos which is an existing resource manager. In addition, we show that a 16-node SOCA-DOM consumes up to 4x less energy than two standard Xeon servers. Based on the results, we conclude that an array architecture with fine-grained hardware resources and a software-defined resource manager works well for analyzing big data on the move.

     

/

返回文章
返回