Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ ＩＳＳＮ １００１—９０８ｌ ２０１３—１２—０ｌ 计算机应用，２０１３，３３（１２）：３５８０—３５８５ Ｃ０ＤＥＮ ＪＹＩＩＤＵ ｈｔｔｐ：／／ｗｗｗ．ｊｏｃａ．ａｎ 文章编号：１００１—９０８１（２０１３）１２—３５８０—０６ ｄｏｉ：１０．１１７７２／ｊ．ｉｓｓｎ．１００１—９０８１．２０１３．１２．３５８０ 基于高性能计算的开源云平台性能评估 李春艳 ，张学杰 （１．云南大学信息学院，昆明６５００９１； ２云南大学高性能计算中心，昆明６５００９１） （ 通信作者电子邮箱ｘｊｚｈａｎｇ＠ｙｎｕ．ｅｄｕ．ｃｎ） 摘要：云计算是一种提供各种ＩＴ服务的互联网资源利用的新模式，已经广泛地应用在包括高性能计算的各种 领域。然而，虚拟化带来了一些性能开销；同时，不同的云平台实施虚拟化技术的不同，使得在这些云平台上应用高性 能计算服务的性能也千差万别。通过ＨＰＣ Ｃｈａｌｌｅｎｇｅ（ＨＰＣＣ）Ｂｅｎｃｈｍａｒｋ和ＮＡＳ Ｐａｒｌａｌｅｌ Ｂｅｎｃｈｍａｒｋ（ＮＰＢ）分别对 ＣＰＵ、内存、网络、扩展性和高性能计算真实负载进行评估，比较并分析了诸如Ｎｉｍｂｕｓ、ＯｐｅｎＮｅｂｕｌａ和ＯｐｅｎＳｔａｅｋ实施 高性能计算的性能，实验显示ＯｐｅｎＳｔａｃｋ对计算密集型的高性能应用负载表现出较好的性能，因此，ＯｐｅｎＳｔａｃｋ是实施 高性能计算的开源云平台的一个好的选择 、 关键词：高性能计算；云计算；基准测试；ＨＰＣＣ；ＮＡＳ并行基准测试程序；开源 中图分类号：ＴＰ３１ｌ 文献标志码：Ａ Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｎ ｏｐｅｎ ｓｏｕｒｃｅ ｃｌｏｕｄ ｐｌａｔｆｏｒｍ ｆｏｒ ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ ＬＩ Ｃｈｕｎｙａｎ‘．ＺＨＡＮＧ ＸｕｅｉｉｅＩ＿ （１．Ｓｃｈｏｏｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｙｕｎｎａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｋｕｎｍｉｎｇ Ｙｕｎｎａｎ ６５００９ １，Ｃｈｉｎａ； ２．Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ Ｃｅｎｔｅｒ，Ｙｕｎｎａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｋｕｎｍｉｎｇ Ｙｕｎｎａｎ ６５００９ １，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｉｓ ａ ｎｅｗ ｍｏｄｅｌ ｏｆ ｔｈｅ Ｉｎｔｅｒｎｅｔ ｒｅｓｏｕｒｃｅ ｕｔｉｌｉｚａｔｉｏｎ ｔｏ ｐｒｏｖｉｄｅ ａ ｖａｒｉｅｔｙ ｏｆ ＩＴ ｓｅｒｖｉｃｅｓ．Ｉｔ ｈａｓ ｂｅｅｎ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ｖａｒｉｏｕｓ ｆｉｅｌｄｓ，ｉｎｃｌｕｄｉｎｇ Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ（ＨＰＣ）．Ｈｏｗｅｖｅｒ，ｉｔｓ ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｈａｓ ｃａｕｓｅｄ ｓｏｌｎｅ ｐｅｒｆｏｒｍａｎｃｅ ｏｖｅｒｈｅａｄ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｒｅ ａｒｅ ｓｏｍｅ ｄｉｆｆｅｒｅｎｃｅｓ ｉｎ ｖｉｒｔｕａｌｉｚａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ‘）ｆ ｄｉｆｆｅｒｅｎｔ ｃｌｏｕｄ ｐｌａｔｆｏｒｍｓ，ＳＯ ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ｉｎ ｉｍｐｌｅｍｅｎｔｉｎｇ ＨＰＣ ｉｓ ｄｉｆｆｅｒｅｎｔ ａｍｏｎｇ ｔｈｅｍ．Ｔｈｅ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｒｅａｌ ｗｏｒｋｌｏａｄ ｅｖａｌｕａｔｉｏｎ ｏｆ ＨＰＣ ｏｆ ｏｐｅｎ ｓｏｕｒｃｅ ｃｌｏｕｄｓ ｐｌａｔｏｆｒｍｓ，ｉｎｃｌｕｄｉｎｇ Ｎｉｍｂｕｓ，ＯｐｅｎＮｅｂｕｌａ ａｎｄ ＯｐｅｎＳｔａｃｋ，ｗｅｒｅ ｃｏｍｐａｒｅｄ ａｎｄ ａｎａｌｙｚｅｄ ｂｙ ＨＰＣ Ｃｈａｌｌｅｎｇｅ （ＨＰＣＣ）ｂｅｎｃｈｍａｒｋ ｓｕｉｔｅ ａｎｄ ＮＡＳ Ｐａｒａｌｌｅｌ Ｂｅｎｃｈｍａｒｋ（ＮＰＢ）ｆｒｏｍ ＣＰＵ，ｍｅｍｏｒｙ，ｃｏｍｍｕｎｉｃａｔｉｏｎ，ｓｃａｌａｂｉｌｉｔｙ ａｎｄ ＨＰＣ， ｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ＯｐｅｎＳｔａｃｋ ｈａｓ ｂｅｔｔｅｒ ｐｅｒｆｏｒｍａｎｃｅ ｆｏｒ ｃｏｍｐｕｔａｔｉｏｎ—ｉｎｔｅｎｓｉｖｅ ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ａｐｐｌｉｃａｔｉｏｎｓ，ｔｈｕｓ ｉｔ ｉｓ ａ ｇｏｏｄ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ｉｍｐｌｅｍｅｎｔｉｎｇ ＨＰＣ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｏｐｅｎ ｓｏｕｒｃｅ ｃｌｏｕｄ ｐｌａｔｆｏｒｍ． Ｋｅｙ ｗｏｒｄｓ：Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ（ＨＰＣ）；ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ；ｂｅｎｃｈｍａｒｋ；Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ Ｃｈａｌｌｅｎｇｅ（ＨＰＣＣ）；ＮＡＳ Ｐａｒａｌｌｅｌ Ｂｅｎｃｈｍａｒｋ（ＮＰＢ）；ｏｐｅｎ ｓｏｕｒｃｅ ＰＣ服务器搭建集群以及最近用ＧＰＵ加速科学计算一样，云 计算对于ＨＰＣ也是一次模式转变。 云计算 是由经济尺度驱使的大规模分布式计算模型， 虚拟化包括基于软件的完全虚拟化、硬件辅助虚拟化、类 它是抽象、虚拟、动态可扩展、可管理计算能力的资源池，连同 虚拟化（Ｐａｒａ—Ｖｉｒｔｕａｌｉｚａｔｉｏｎ）等，每种技术中采用的方法也各不 其存储、平台和服务可通过互联网按需地传递给客户。云计 相同，基于软件的完全虚拟化中，ＣＰＵ虚拟化采用“陷入并模 算资源是动态的、可扩展和虚拟化的，其提供许多诸如服务器 拟”的方式，其中Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ Ｍｏｎｉｔｏｒ（ＶＭＭ）采用模拟的 整合、扩展性、隔离性和迁移等优点。然而，高性能计算（Ｈｉｇｈ 技术可分为解释执行、扫描与修补和动态二进制翻译 Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ，ＨＰＣ）作为科学的研究方法在学术界 （ｄｙｎａｍｉｃ Ｂｉｎａｒｙ Ｔｒａｎｓｌａｔｉｏｎ，ＢＴ）等。文献［２］详细比较并分 和 业界正得到越来越多的重视，相比快速发展的硬件技术， 析ｒ诸如Ｘｅｎ、ＫＶＭ、ＶｉｒｔｕａｌＢｏｘ、ＶＭＷａｒｅ虚拟化技术，开源云 高性能计算软件和应用环境仍然非常落后，而且超级计算在 平台采用不同的虚拟化技术其表现出的性能将完全不同。 规模上的扩大也对高性能计算的系统管理带来了挑战。目 在云计算方面一个基本的概念是基于提供的基础设施作 前，高性能计算迫切需要解决一些问题：负载平衡、确保服务 为一个服务（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ，ＩａａＳ），把资源传递给 质量（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ，ＱｏＳ）、资源分配和容错管理等。云计 用户，而用户无需购买和维护计算、存储和网络资源。为了建 算的灵活弹性计算模式可解决目前高性能计算所遇到的问 立如此的这种服务，许多工具是可行的，其中目前流行且开源 题，已经慢慢地运用在高性能计算领域，特别在科学云部署和 的云平台包括：Ｅｕｃａｌｙｐｔｕｓ、Ｎｉｍｂｕｓ、ＯｐｅｎＮｅｂｕｌａ和 虚拟化集群 方面。传统高性能计算的排队批处理方式很 ＯｐｅｎＳｔａｃｋ口。。许多研究机构用开源的云平台建立了自己的 难实现按需即时响应的科学计算，Ｏｎ—ｄｅｍａｎｄ的云计算给高 高性能计算环境。本文主要讨论三种开源云平台：Ｎｉｍｂｕｓ、 性能计算提供ｒ更易交互的计算模式，如同几年前大众化的 ＯｐｅｎＮｅｂｕｌａ和ＯｐｅｎＳｔａｃｋ。 收稿日期：２０１３－０６—２６；修回日期：２０１３－０９－０６。 基金项目：国家门然科学 金资助项日（６１１７０２２２）；云南大学第五届研究生科研课题一般资助项目（ｙｎｕｙ２０１２５８）． ．作者简介：李春艳（１９８０一），女，安徽阜阳人，硕士研究生，主要研究方向：云计算、高性能计算； 张学杰（１９６５一），男，云南昆明人，教授 博士生导师，博ｆ：，ＣＣＦ高级会员，主要研究方向：高性能计算、分布式系统、计算机网络。 第１２期 李春艳等：基于高性能计算的开源云平台性能评估 ３５８１ ｌ 相关工作 早期关于虚拟化的研究主要致力于网格 Ｊ。一些特别 的网格计算系统实施虚拟化资源 ｏ 。近年来，虚拟化、云计 算和高性能计算迅速发展，早在２００６年，Ｙｏｕｓｅｆｆ等 评估了 在Ｘｅｎ中应用ＭＰＩ的性能影响，并通过评估得出Ｘｅｎ对高性 能计算应用来说并没有强加显著的性能开销。在同一年， ＩＢＭ Ｗａｔｓｏｎ研究中心强调了在高性能计算环境下硬件虚拟 化的重要价值 ｊ。Ｅｖａｎｇｅｌｉｎｏｓ等 论述了在ＥＣ２云基础设 ＨＰＣ基准测试的性能之后，进行不同程度的性能改进。 本文重点致力于开源的云基础设施平台。虽然在云环境 中实施某种范围的ＨＰＣ应用有一些成功案例，然而，本文的 目的是探讨哪一种开源云平台对什么类型的ＨＰＣ应用有较 好的性能。通过模拟和相似性度量比较并分析了ＨＰＣ Ｃｈａｌｌｅｎｇｅ（ＨＰＣＣ）Ｂｅｎｃｈｍａｒｋ实验的数据套件，得出的结论 是：ＯｐｅｎＳｔａｃｋ针对ＨＰＣ应用显示出较好的性能，是本文所建 议的最优开源云平台，最后通过实施ＨＰＣ应用负载验证了此 结论。 施中实施ＨＰＣ Ｂｅｎｃｈｍａｒｋｓ的具体分析，结果显示ＥＣ２云系统 对支持按需、小规模的ＨＰＣ应用来说是可靠的解决方案，但 此文献仅仅从宏观方面进行了评估。Ｙｏｕｎｇｅ等 着眼于高 性能计算环境的适用性，从特征比较到性能分析深入地介绍 了当今通常被接受的一些虚拟化技术，最后得出结论：对支持 ２ 性能评估方法 ２．１开源云平台选择 之所以选择开源的云平台是因为开源软件有很多优势， 许多企业和也越来越倾向开源软件的使用，这些优势包 ＨＰＣ应用来说，ＫＶＭ ｈｙｐｅｒｖｉｓｏｒ是最优的选择。以上文献致 力于在云环境中实施ＨＰＣ Ｂｅｎｃｈｍａｒｋ，并评估相应的性能。 另一方面，Ｇａｖｒｉｌｏｖｓｋａ等 。。讨论了一些在当前虚拟化架构下 支持ＨＰＣ应用的改进，如ＨＰＣ管理器（ｓｉｄｅｃｏｒｅ）和自虚拟化 Ｉ／Ｏ设备。此外，文献［１１—１３］更多关注性能优化，通过评估 括安全性、稳定性、开放标准和摆脱供应商依赖、可定制化能 力、灵活性、互操作性和成本低等，因此，本文中选择目前较流 行的三大开源云平台：Ｎｉｍｂｕｓ、ＯｐｅｎＮｅｂｕｌａ和ＯｐｅｎＳｔａｃｋ，其细 节的特征比较如表１所示 ，这里仅针对接口、虚拟管理器、 网络、软件部署和存储五部分展开描述。 表１云平台特征比较 ２．２ Ｂｅｎｃｈｍａｒｋ选择 ｔｒｉａｎｇｕｌｒ（ＬＵ）、ａＳｃａｌｒ ａＰｅｎｔａ—ｄｉａｇｏｎａｌ（ＳＰ）与Ｂｌｏｃｋ Ｔｒｉ－ｄｉａｇｏｎａｌ 通过微观基准测试ＨＰＣＣ Ｂｅｎｃｈｍａｒｋ Ｓｕｉｔｅ和宏观基准测 （ＢＴ）），如表３所示。 表２ ＨＰＣＣ Ｂｅｎｃｈｍａｒｋ Ｓｕｉｔｅ度量标准 试ＮＡＳ并行基准测试程序（ＮＡＳ Ｐａｒａｌｌｅｌ Ｂｅｎｃｈｍａｒｋ，ＮＰＢ）对 以上三大云平台进行性能评估。 ２．２．１ ＨＰＣＣ Ｂｅｎｃｈｍａｒｋ ＨＰＣＣ Ｂｅｎｃｈｍａｒｋ Ｓｕｉｔｅ ＨＰＬ 度量标准 测试系统浮点操作性能 测量矩阵乘法的浮点执行率 测试内存带宽 衡量系统网络的总体通信能力 随机更新内存的能力 使用双精度一维离散傅里叶变换 测量浮点操作能力 通信带宽和延迟测试 ＴＯＰＳ００使用Ｌｉｎｐａｃｋ基准测试性能，ＨＰＣ的传统基准测 试大部分选择Ｌｉｎｐａｃｋ。但是，它是不充分的，Ｌｉｎｐａｃｋ仅仅强 ＤＧＥＭＭ ＳＴＲＥＡＭ ＰＩ’ＲＡＮＳ 调ＣＰＵ的峰值性能，忽略本地的网络带宽、延迟和存储等因 素，单以ＣＰＵ浮点操作能力无法反映计算机系统可能存在的 性能瓶颈，所以Ｌｉｎｐａｃｋ并不能反映ＨＰＣ系统各方面的性能。 然而，ＨＰＣＣ基准测试套件的各个组成部分着眼于计算机系 ＲａｎｄｏｍＡｃｃｅｓｓ ＦＦＴ Ｂａｎｄｗｉｄｔｈ ａｎｄ Ｌａｔｅｎｃｙ 统的一个方面，如：ＣＰＵ、内存、网络等，已经成为ＴＯＰＳＯ０评测 的一个有效补充，因此，评估一个系统的好坏，不再被单个性 能指标所决定。ＨＰＣＣ包括７个不同的标准 ，如表２所示。 这７个标准满足空间局部性和时间局部性原则。ＨＰＣＣ存储 访问模型 １ 遵从这个局部性原则，如图１所示。 ２．２．２ ＮＰＢ ＮＡＳ 并行基准测试程序（ＮＰＢ）是一套代表流体动力 学计算的应用程序集，它已经成为公认的用于评测大规模并 行机和超级计算机的标准测试程序。ＮＰＢ由８个程序组成， 包括５个核心程序（Ｅｍｂａｒｒａｓｓｉｎｇｌｙ Ｐａｒａｌｌｅｌ（ＥＰ）、ＭｕｈｉＧｒｉｄ （ＭＧ）、Ｃｏｎｊｕｇａｔｅ Ｇｒａｄｉｅｎｔ（ＣＧ）、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ （ ）与Ｉｎｔｅｇｅｒ Ｓｏｒｔ（ＩＳ））和３个模拟应用（Ｌｏｗｅｒ ｕｐｐｅｒ ３５８２ 计算机应用 第３３卷 表３ ＮＡＳ并行基准测试程序 ２．３ ＦｕｔｕｒｅＧｒｉｄ Ｔｅｓｔ—ｂｅｄ 该实验的测试床基于“ＦｕｔｕｒｅＧｒｉｄ：Ａｎ Ｅｘｐｅｒｉｍｅｎｔａｌ， Ｈｉｇｈ—Ｐｅｒｆｒｏｍａｎｃｅ Ｇｒｉｄ Ｔｅｓｔ—ｂｅｄ”，它包括地理上分布式的一套 异构计算系统，包括元数据和软件镜像库的数据管理系统和 保证隔离安全实验的专用网络；它支持基于虚拟机的环境和 实验的裸机系统，目的是最小化开销和最大化性能 “ 。 ３ 实验分析 本文实验的目的是通过比较不同开源云平台相对裸机的 性能，进而找出最接近裸机性能和最适合ＨＰＣ应用的云平 台。本章致力于实验设计，包括在实验中引进的关键技术。 实验基于ＫＶＭ虚拟化技术和当前较流行的开源云平台（如： Ｎｉｍｂｕｓ，ＯｐｅｎＮｅｂｕｌａ，ＯｐｅｎＳｔａｃｋ）。此外，在著名的ＦｕｔｕｒｅＧｒｉｄ Ｔｅｓｔ ｂｅｄ，选择ＨＰＣＣ基准测试套件和ＮＰＢ运行在不同的集群 （如：Ａｌａｍｏ ｃｌｕｓｔｅｒ、Ｉｎｄｉａ ｃｌｕｓｔｅｒ）。 ３．１实验环境 基于ＦｕｔｕｒｅＧｒｉｄ Ｔｅｓｔ—ｂｅｄ、８节点的集群，其中Ｎａｔｉｖｅ、 ＯｐｅｎＳｔａｃｋ和ＯｐｅｎＮｅｂｕｌａ位于ｉｎｄｉａ集群，Ｎｉｍｂｕｓ位于ａｌａｍｏ 集群，集群系统通过ＱＤＲ ＩｎｆｉｎｉＢａｎｄ连接，每个节点２个Ｉｎｔｅｌ Ｘｅｏｎ Ｘ５５５０ ＣＰＵ，速度是２．６６ ＧＨｚ，８ ｃｏｒｅｓ，２４ ＧＢ ＲＡＭ，Ｒｅｄ Ｈａｔ ４．１．２（Ｌｉｎｕｘ ｋｅｒｎｅｌ ２．６．１８）；虚拟机的集群环境和裸机 相当，每个ｇｕｅｓｔ ４ ｃｏｒｅｓ，８ ＧＢ ＲＡＭ，Ｕｂｕｎｔｕ ４．３（Ｌｉｎｕｘ ｋｅｒｎｅｌ ２．６．３５），ＧＣＣ ｖｅｒｓｉｏｎ ４．４．５。测试软件：ＨＰＣＣ／１．３．１，ＮＰＢ／ ３．２，ＭＰＩＣＨ２／１．５，ＧＯＴＯＢＬＡＳ２／１．１３。每个基准测试运行 １００次，使用平均值产生持久化的结果。 ３．２基准测试规则 软硬件环境准备就绪之后、性能评估之前，非常重要的一 步是修改ＨＰＣＣ Ｂｅｎｃｈｍａｒｋ的配置文件ｈｐｃｃｉｎｆ．ｔｘｔ以便达到 最优的测试结果。此配置文件是针对ＨＰＬｉｎｐａｃｋ Ｂｅｎｃｈｍａｒｋ 的输入文件，需要解决矩阵规模、矩阵分块、进程映射、负载均 衡等问题，而Ｌｉｎｐａｃｋ的测试结果受多方面因素的影响，包括 相关的参数设置、ＣＰＵ的架构数量和效率、内存容量、网络通 信性能和系统规模等，这些因素共同决定了系统Ｌｉｎｐａｃｋ测 试的最终结果。编辑ｈｐｅｃｉｎｆ．ｔｘｔ，遵循如下几个规则： １）ｐｒｏｂｌｅｍｓ ｓｉｚｅｓ（Ｎｓ）：Ｍ值可根据情况调整，不能超过 ｓｑｒｔ（（单个计算节点内存×计算节点个数）／８）×０．８，否则 会导致测试中使用ｓｗａｐ分区或者内存耗尽而导致死机。 ２）ｐｒｏｃｅｓｓ ｇｒｉｄｓ（Ｐ Ｘ Ｑ）：Ｐ Ｘ Ｑ＝进程数＝核数。 ３）矩阵分块大小（ＮＢ）：ＮＢ不能太大或太小，一般在２５６ 以下，ＮＢ Ｘ ８一定是Ｃａｃｈｅ ｌｉｎｅ的倍数，ＮＢ值的选择主要是 通过实际测试得到最优值。 ４）ＰＭＡＰ ｐｒｏｃｅｓｓ ｍａｐｐｉｎｇ：选择处理器阵列是按列的排列 方式还是按行的排列方式（０是行排列，１是列排列），按ＨＰＬ 文档中介绍，按列的排列方式适用于节点数较多、每个节点内 ＣＰＵ数较少的系统；而按行的排列方式适用于节点数较少、每 个节点内ＣＰＵ数较多的大规模系统。在机群系统上，按列的 排列方式的性能远好于按行的排列方式。 此外，Ｌ分解方式、广播方式等按照默认设置即可，基准 测试完成之后，会生成名为ｈｐｃｃｏｕｔｆ．ｔｘｔ的结果文件，里面包 括ＨＰＣＣ Ｂｅｎｃｈｍａｒｋ Ｓｕｉｔｅ的７个基准测试的详细数据。 ４ 性能评估 本节针对ＫＶＭ虚拟化技术，对不同开源云平台的性能 开销进行评估，首先提供ＭＰＩ级别的微观基准测试——著名 工业标准性能基准测试套件ＨＰＣＣ Ｂｅｎｃｈｍａｒｋ；其次是宏观基 准测试——ＨＰｃ应用级别的性能评估；最后，对三个云平台 的扩展性进行预测。 ４．１ 微观基准测试评估 ＨＰＣＣ基准由若干知名的内核测试程序组成，ＨＰＣＣ基准 的不同标准由具有极端空间局部性和时间局部性的程序构 成，较完整地评估了计算机系统的ＣＰＵ、内存、网络等性能。 ＨＰＣＣ测试程序运行在２种模式（Ｌｏｃａｌ模式和Ｇｌｏｂａｌ模式）、 ３种场景之下（Ｌｏｃａｌ场景、Ｇｌｏｂａｌ场景和Ｅｍｂａｒｒａｓｓｉｎｇｌｙ Ｐａｒａｌｌｅｌ场景），下面针对这种模式和场景下的７个不同标准 进行测试 。 ４．１，１ 实验结果 １）ＨＰＬ（Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｌｉｎｐａｃｋ）测试。 ＨＰＬ通过对高性能计算机采用高斯消元法求解一元Ⅳ 次稠密线性代数方程组的测试，评价高性能计算机的浮点性 能，它通过以下的线性方程测量系统的浮点执行率： ＡＸ＝ ；Ａ∈Ｒ ，Ｘ，ｂ∈Ｒ ｔｔＰＬ测试通过调节问题规模大小、矩阵分块、进程映射、 使用的ＣＰＵ数目、负载均衡等优化方法来执行该测试程序， 以获取最佳的性能。当求解问题规模为Ⅳ时，浮点运算次数 为：（２／３ Ｘ 一２ Ｘ ）。因此，只要给出问题规模Ⅳ，测得系 统计算时间ｒ，，峰值＝计算量（２／３ Ｘ 一２ Ｘ ）／计算时间 ７１，测试结果以浮点运算每秒给出。衡量计算机性能的一个 重要指标就是计算峰值或者浮点计算峰值，它是指计算机每 秒钟能完成的浮点计算最大次数。 相对Ｎａｔｉｖｅ的ＨＰＬ测试结果如表４所示，从实验数据可 以看出，不同的云平台之间有些不同，在物理机中，ＨＰＬ测试 显示了最高的速度，其次，是Ｎｉｍｂｕｓ和ＯｐｅｎＳｔａｃｋ，而 ＯｐｅｎＮｅｂｕｌａ则在所有的云平台中显示了最低的速度。原因 非常复杂：首先，总体的测试环境非常复杂，因为许多大而复 杂的应用程序正在云基础设施中运行，对物理资源隐藏的竞 争在一定程度上影响了性能 Ｊｇ］；除此之外，虚拟化本身有一 定的性能开销。 表４ ＨＰＬ、ＤＧＥＭＭ、ＰＴＲＡＮＳ和ＲａｎｄｏｍＡｃｃｅｓｓ（ＭＰＩ） 相对Ｎａｔｉｖｅ Ｌｉｎｕｘ的性能 ２）ＤＧＥＭＭ测试。 第１２期 李春艳等：基于高性能计算的开源云平台性能评估 ３５８３ ＤＧＥＭＭ测量双精度实矩阵乘法的浮点执行率，其通过 矩阵Ａ、曰和矩阵Ｃ的旧值来常规计算矩阵Ｃ的新值，公式如 下： Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ，ＤＦＴ）的执行浮点率来测试系统的浮点运算 能力，公式如下： Ｃ＋＿ｔｒＡＢ＋卢Ｃ；Ａ，Ｂ，Ｃ∈Ｒ ； ，卢∈Ｒ Ｙ ＝∑ｘｊｅＩ２ ；１≤ｋ≤ｍ， ，Ｙ ∈Ｃ ，１≤ ，ｋ≤ｍ 从表５可以看出，以ＭＰＩ计算模式为例，Ｏｐｅｎｓｔａｃｋ相对 Ｎａｔｉｖｅ以０．８４的比率在本测试中显示出较好的计算性能。 ７）Ｌａｔｅｎｃｙ ａｎｄ Ｂａｎｄｗｉｄｔｈ测试。 从表４可以看出，Ｎｉｍｂｕｓ表现出最好的性能，其次是 ＯｐｅｎＳｔａｃｋ；但是对ＤＧＥＭＭ进一步分析，由于本测试包括两 种模式，Ｓｉｎｇｌｅ和Ｓｔａｒ，分别对两种模式评估，结果发现 ＯｐｅｎＮｅｂｕｌａ在Ｓｔａｒ和Ｓｉｎｇｌｅ之间有非常大的差异，这意味着 针对ＤＧＥＭＭ测试，ＯｐｅｎＮｅｂｕｌａ存在相对不稳定的性能。然 通信和延时测试基于ｂ—ｅｔ（ｅｆｆｅｃｔｉｖｅ ｂａｎｄｗｉｄｔｈ Ｂｅｎｃｈｍａｒｋ），它主要测试在时间参数可行的情况下，尽可能多 而，Ｎｉｍｂｕｓ和ＯｐｅｎＳｔａｃｋ有着相似的性能，它们更接近裸机的 性能。但是，物理机中，Ｓｉｎｇｌｅ的值略微大于Ｓｔａｒ的值，因此， 从这一点来说，ＯｐｅｎＳｔａｃｋ更加接近裸机的性能，而不是 Ｎｉｍｂｕｓ。 ３）ＰＴＲＡＮＳ测试。 ＰＴＲＡＮＳ（ｐａｒａｌｌｅｌ ｍａｔｒｉｘ ｔｒａｎｓｐｏｓｅ）通过并行矩阵转置的 操作，测试多处理器的内存之间传送大规模数组的速率，主要 衡量系统网络的总体通信能力。公式如下： Ａ＋＿Ａ ＋曰；Ａ，Ｂ∈Ｒ“ “ 从表４可清晰地看出，在所有的云平台中，ＯｐｅｎＳｔａｃｋ最 接近裸机的性能，其次是Ｎｉｍｂｕｓ，而ＯｐｅｎＮｅｂｕｌａ则由于花费 了更长的时间而显示出较差的性能。 ４）ＲａｎｄｏｍＡｃｃｅｓｓ测试。 ＲａｎｄｏｍＡｃｃｅｓｓ测试内存的随机更新速度，通过对单环境 和多重负荷时的内存随机访问（间接访问）性能及过程之间 的数据访问性能进行测试，其公式如下： 一 ） ｆ：ｘ—｝（ ①０ ）；Ⅱｆ Ｅ Ｒ， ：ｚｍ ｚｍ； ∈ｚｍ 以ＭＰＩ模式为例，从表４看出，ＯｐｅｎＳｔａｃｋ相对裸机的性 能比率是０．８６，明显大于Ｎｉｍｂｕｓ和ＯｐｅｎＮｅｂｕｌａ的性能比率， 所以针对ＲａｎｄｏｍＡｃｃｅｓｓ测试，ＯｐｅｎＳｔａｃｋ在所有的云平台中 相对于裸机显示较好的性能。 ５）ＳＴＲＥＡＭ测试。 ＳＴＲＥＡＭ主要测试稳定的系统内存带宽（单位：ＧＢ／ｓ）和 单矢量核相应的计算速率，公式如下： ｃｏｐｙ：ｃ＋＿－ａ ｓｃａｌｅ：西＋＿＿ｏｔｃ ａｄｄ：ｃ＋一口＋６ ｔｒｉａｄ：ａ＋＿＿６＋ ｃ；ａ，西，ｃ∈Ｒｍ，ｏｔ∈Ｒ 从表５可以看出，以ｃｏｐｙ运算为例，ＯｐｅｎＳｔａｃｋ以相对裸 机０．９２的性能比率在四大云平台中位居第一，说明 ＯｐｅｎＳｔａｃｋ对ＳＴＲＥＡＭ测试显示出相对于裸机一致的性能比 例。 表５ ＳＴＲＥＡＭ（ｃｏｐｙ）、ＦＦｆｒ（ＭＰＩ）、Ｌａｔｅｎｃｙ（ＡｖｇＰｉｎｇＰｏｎｇ）和 Ｂａｎｄｗｉｄｔｈ（ＡｖｇＰｉｎｇＰｏｎｇ）相对Ｎａｔｉｖｅ Ｌｉｎｕｘ的性能 ６）ＦＦＴ测试。 ＦｆＴｒ通过测量双精度复数一维离散傅里叶变换（Ｄｉｓｃｒｅｔｅ 的处理器之间复杂通信模式所需要的带宽和延时。 从表５可以看出，ＯｐｅｎＳｔａｃｋ ＡｖｇＰｉｎｇＰｏｎｇ延迟显示出近 似裸机的性能，另一方面，Ｎｉｍｂｕｓ和ＯｐｅｎＮｅｂｕｌａ均显示出非 常低的延迟，这可能是页命中率的提高和ｃａｃｈｅ使用的原因。 然而，平均带宽显示Ｎｉｍｂｕｓ更接近且稍微大于裸机的带宽， 这显示了矛盾的一面，我们认为导致其矛盾现象的原因是管 理器内部的较大页的尺寸引起了较小数量的页故障而引起 的，这仍需要进一步的分析。但是，ＯｐｅｎＳｔａｃｋ从另一方面则 显示出相对裸机性能一致的开销比例。 ４．ｔ．２实验评估 为了选择出最优的云平台，采用样本之间的相似性度量 来评估，通常的方法就是计算样本问的标准化欧氏距离 。 标准欧氏距离的思路：因为数据各维分量的分布不一样，所以 先将各个分量都“标准化”到均值、方差相等。根据统计学知 识，假设样本集 的均值为ｍ，标准差为Ｓ，标准化变量的数 学期望为０，方差为１。因此样本集的标准化过程描述如下： Ｘ ＝（Ｘ—ｍ）／ｓ 即：标准化后的值＝（标准化前的值一分量的均值）／分量的 标准差，经过简单的推导就可以得到两个ｎ维向量ａ（ｘ 。：， …， ）与ｂ（ ， ：：，…， ）间的标准化欧氏距离的公式如 下： 厂 — √ （ ） 如果将方差的倒数看成是一个权重，这个公式可以看成 是一种加权欧氏距离。现在，假设每一维的标准差是１，从以 上实验数据可得出相似性度量的结果如下： ｄ（Ｎｉｍｂｕｓ，Ｎａｔｉｖｅ）＝４４．４５６ ｄ（ＯｐｅｎＮｅｂｕｌａ，Ｎａｔｉｖｅ）＝５２．５２０ ｄ（ＯｐｅｎＳｔａｃｋ，Ｎａｔｉｖｖｅ）＝２５．２７０ 一般相似性度量采用以下式进行转换，距离越小，相似度 越大。 Ｓｉｍ（ ，Ｙ）＝［１＋ｄ（ ，Ｙ）］ 所以： Ｓｉｍ（Ｎｉｍｂｕｓ，Ｎａｔｉｖｅ）＝０．０２２ Ｓｉｍ（ＯｐｅｎＮｅｂｕｌａ，Ｎａｔｉｖｅ）＝０．０１８ ７ Ｓｉｍ（ＯｐｅｎＳｔａｃｋ，Ｎａｔｉｖｅ）：０．０３８ １ 从以上三个式子可以看出，在所有的云平台中， ＯｐｅｎＳｔａｃｋ与裸机之间的相似度是最接近的，所以，ＯｐｅｎＳｔａｃｋ 是在云环境中实施ＨＰＣ的一个好的选择。 ４．１．３实验分析 在本实验中，基于ＫＶＭ虚拟化技术，每个基准测试运行 １００次，使用平均值产生持久化的结果。然而，无论怎样，整 体的测试环境是非常复杂的，因此，测试结果带有某种程度的 ３５８４ 计算机应用 第３３卷 不确定性，被描述如下： ４．３扩展性评估 １）仅平均１００次的实验数据，如果其中的一组数据出现 问题，那么整体实验的错误率为０．Ｏ１，实验次数越多则结果 越精确。 扩展性即伸缩性，反映了虚拟化系统规模和服务的扩展 能力，不同云平台的虚拟机调度机制和事件通道机制各不相 同，因此影响可扩展性的程度也各不一样。为了更好地满足 多虚拟机和多ＣＰＵ应用的现实需求，本节着眼以下两个方面 研究虚拟机的扩展性： １）多虚拟机可扩展性，即多ｇｕｅｓｔ扩展性，刻画ＶＭ增加 时ＣＰＵ使用率的变化情况； ２）在实验中，虽然云平台硬件设施和裸机硬件设施一 样，但是每个虚拟机有４个ｖｉｒｔｕａｌ ＣＰＵ，裸机有８个ＣＰＵ，裸 机和虚拟机之间的比较可能影响某种程度的精确性，但是，云 平台之间的比较是值得信赖的。 ３）在上述实验中，假设权重为１，意味着在ＨＰＣＣ基准测 ２）多处理器可扩展性，即单ｇｕｅｓｔ扩展性，刻画ＶＭ数量 不变，增加ＣＰＵ资源时的情况。 ４．３．１ 多虚拟机扩展性 试套组中每个测试指标的重要程度是一样的，实际应用中如 果某些ＨＰＣ应用程序更强调ＣＰＵ性能或计算能力的话，那 么它对应的权重（如：ＨＰＬ基准测试对应的权重）应该大于其 他的权重。 ４．２ ＨＰＣ应用评估 通过微观基准测试，ＯｐｅｎＳｔａｃｋ针对ＨＰＣ在所有的开源 云平台中显示出了较好的性能，为了证实这个结论，本节将在 各种云平台上实施真实的ＨＰＣ应用负载以说明虚拟化的开 销。虚拟化性能开销主要包括三个方面：ＣＰＵ虚拟化、内存虚 拟化和Ｉ／Ｏ虚拟化。高性能虚拟机环境如Ｘｅｎ能够支持低 ＣＰＵ开销和内存开销 ，除了特权指令外，大部分指令均可 以在ｇｕｅｓｔ虚拟机内部执行，而这些特权指令，ＶＭＭ则执行 “Ｔｒａｐ Ａｎｄ—Ｅｍｕｌａｔｅ”的运行方式，这种模式下势必带来非常大 的性能开销，ＨＰＣ应用领域很少涉及这类特权指令。然而， Ｉ／／Ｏ虚拟化严重影响了虚拟机的性能，因为１／Ｏ设置在物理机 的所有虚拟机之间是共享的，ＶＭＭ必须确保对它们的访问是 合法的，ＶＭＭ必须处理来自每个虚拟机的Ｉ／Ｏ访问，由于上 下文的频繁切换，导致了较长的Ｉ／Ｏ延迟和较大的ＣＰＵ开 销 图２显示＿『基于不同的云平台ＮＰＢ针对ＢＴ、ＣＧ、ＥＰ、ＩＳ 和ＳＰ相对裸机的执行时间。对通信密集型的基准测试（如： ＣＧ和Ｉｓ），在虚拟环境中的应用程序性能降低了１５％左右， 这是由于通信密集型的应用要处理大量的网络Ｉ／Ｏ操作，而 对于计算密集型的基准测试（如：ＥＰ）由于较小的通信量则表 现出较好的性能。从图２可以看出，ＢＴ测试中ＯｐｅｎＳｔａｃｋ的 执行时间略大于Ｎｉｍｂｕｓ的执行时间，而其余测试，ＯｐｅｎＳｔａｃｋ 的执行时问均小于其他的云平台，通过如下公式即可算出全 局开销… ： ， ， Ｐ×Ｔ （Ｐ）一Ｔ （１） 肥州 刍ｉ ＝ １—— ｉ ＼ ， 一 其中：Ｐ表示并行进程的数量；ｉ表示钳‘对ＮＰＢ的每个具体的 核心程序或模拟应用；Ｔｉ（Ｐ）表示某个具体测试的Ｐ个并行 进程所用的时间；ｎ表示５个核心程序和３个模拟应用，共８ 个。结果显示ＯｐｅｎＳｔａｃｋ开销最小，因而最接近裸机的性能， 进而验证上一节的结论。 道 富 窖 疑 ＢＴ ＣＧ ＥＰ ＩＳ ＳＰ 基准测试 图２ ＢＴ、ＣＧ、ＥＰ、ＩＳ和ｓＰ相对于Ｎａｔｉｖｅ Ｌｉｎｕｘ的执行时间 一个虚拟系统的扩展性由其运行越多的虚拟机而没有性 能损失的能力决定。为了测量不同云平台的扩展性，首先在 一个ＶＭ上运行ＨＰＬ测试，然后增加ＶＭ的数量，同时每个 ＶＭ运行ＨＰＬ测试。当ＶＭ数量增加至１６时，三个云平台的 ＨＰＬ性能如图３所示，随着节点数量的增加，其计算性能降 低，并且这种降低的幅度渐缓；此外，从曲线图中可看到 ＯｐｅｎＳｔａｃｋ显示出比Ｎｉｍｂｕｓ和ＯｐｅｎＮｅｂｕｌａ较好的性能。然 而，当节点增加至６４时，Ｎｉｍｂｕｓ和ＯｐｅｎＮｅｂｕｌａ出现不同程度 的宕机情况，如图４所示，Ｎｉｍｂｕｓ在第２６节点和３５节点处崩 溃，ＯｐｅｎＮｅｂｕｌａ在第４３节点出现崩溃，这说明在节点数量增 加到一定程度时，Ｎｉｍｂｕｓ和ＯｐｅｎＮｅｂｕｌａ表现出不确定的扩展 性 壁 鑫。 要 墨 蚕ｏ ＜二０ 量 ＶＭ数量 图３虚拟机数量增加的情况下ＨＰＬ扩展性测试 ｌ ０ 墨 ｊｊ｛Ｌ 丑 ＜＿ 靛窨 ｌ１ ｌ６ ２６ ３Ｚ ３５ ４３ ６４ ＶＭ数量 图４虚拟机数量增加的情况下ＨＰＬ测试的宕机啦示 ４．３．２多处理器扩展性 首先，各个云平台下的ｇｕｅｓｔ数量为１，其次，给ｇｕｅｓｔ分 别分配１个处理器资源，计算进行ＨＰＬ Ｂｅｎｃｈｍａｒｋ的ＣＰＵ执 行时问，然后分别分配２个、４个和８个处理器资源情况下 ＣＰＵ资源的使用情况。实验表明，ＯｐｅｎＮｅｂｕｌａ和ＯｐｅｎＳｔａｃｋ 表现出类似的一致性性能，而Ｎｉｍｂｕｓ则表现出较差的性能。 此测试仅着眼于ＣＰＵ的性能而不考虑Ｉ／Ｏ。 ５ 问题与总结 从目前的研究可以看出，适合高性能计算的云计算环境 这一领域正处于研究阶段，其面临一些重要问题有待解决，包 括：如何进一步降低虚拟机技术带来的性能开销；如何保证大 规模虚拟ＨＰＣ环境的可靠性、扩展性和低耗特性；如何在云 第１２期 李春艳等：基于高性能计算的开源云平台性能评估 ３５８５ 环境中向用户提供可定制的ＨＰＣ环境以适应不同应用负载 的需要等。 “云计算”概念目前已被大量运用到生产环境中，各种 “云计算”的应用服务范围正日渐扩大，影响力也无可估量。 相比之下，在云环境中实施高性能计算的应用还相当有限。 随着云计算的深入应用，为用户提供高质量的远程高性能云 服务成为当前研究的热点，在云中“ＨＰＣ ａｓ ａ Ｓｅｒｖｉｃｅ”的思想 ［８】 ｆｏｒｍａｎｃｅ ｉｍｐａｃｔ ｏｆ Ｘｅｎ ｏｎ ＭＰＩ ａｎｄ ｐｒｏｃｅｓｓ ｅｘｅｃｕｔｉｏｎ ｏｒ ＨＰＣ ｓｙｓ－ｆ ｔｅｍｓ［Ｃ］／／ＶＴＤＣ ２００６：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｒｔｕａｌｉｚａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ ｉｎ Ｄｉｓｔｉｂｕｔｒｅｄ Ｃｏｍｐｕｔｉｎｇ． Ｗａｓｈｉｎｇｔｏｎ，ＤＣ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２００６：１． ＭＥＲＧＥＮ Ｍ Ｆ，ＵＨＬＩＧ Ｖ，ＫＲＩＥＧＥＲ Ｏ，ｅｔ ａ１．Ｖｉｔｒｕａｌｉｚａｔｉｏｎ ｆｏｒ ｈｉｇｈ—ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ［Ｊ］．ＡＣＭ ＳＩＧＯＰＳ Ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ Ｒｅｖｉｅｗ，２００６，４０（２）：８—１１． ＮＯＳ Ｃ，ＨＩＬＬ Ｃ Ｎ．Ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｆｏｒ ｐａｒａｌｌｅｌ ｓｃｉｅｎ— ＥＶＡＮＧＥＬＩ已经鼓励了高性能计算延伸到更广泛的科学和工业社区，随 着高性能计算和云计算关键技术的深入研究，两者之间的结 合将越来越紧密，势必会对未来超级计算中心产生显著的影 响。 ６ 结语 本文在不同的基于ＫＶＭ的开源云平台中，采用 ＦｕｔｕｒｅＧｒｉｄ Ｔｅｓｔ—ｂｅｄ，通过标准的欧氏距离相似性度量，比较了 ＨＰＣ Ｃｈａｌｌｅｎｇｅ基准测试的性能，结果显示针对ＨＰＣ应用， ＯｐｅｎＳｔａｃｋ具有较好的性能；随后用ＨＰＣ应用实际负载进行 评估，验证了此结论；最后通过扩展性评估，显示ＯｐｅｎＳｔａｃｋ 是比较适合计算密集型的高性能应用的云平台。所以，它是 开源云平台以实施ＨＰＣ应用的一个好的选择。 但仍需要更多的工作去完全评估这个结论的有效性，如： 从服务器整合、隔离性和迁移性方面进一步评估；除此之外， 我们还将对上述实验数据中的异常部分作进一步的分析。短 期之内，我们将致力于适合ＨＰＣ环境的有效云平台的研究和 ＨＰＣ虚拟集群的性能分析。在云环境中．由于虚拟化技术，Ｌ／ Ｏ性能严重下降，Ｉ／Ｏ密集型的ＨＰＣ应用更是云环境中实施 高性能计算的瓶颈，针对不同的技术研究如何优化在高性能 计算云中实施Ｉ／Ｏ密集型的ＨＰＣ应用也是我们将来所面临 的一个重要研究内容。长期来看，我们将在各种云基础设施 环境中对ＨＰＣ的任务调度、容错和ＱｏＳ予以研究。 参考文献： 【１】 ＶＯＵＫ Ｍ Ａ．Ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ—ｉｓｓｕｅｓ，ｒｅｓｅａｒｃｈ ａｎｄ ｉｍｐｌｅｍｅｎｔａ－ ｔｉｏｎｓ【Ｃ】／／ＩＴＩ ２００８：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎ￣ｒ－ ｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｔｅｒｆａｃｅｓ．Ｐｉｓｃａｔａｗａｙ：ＩＥＥＥ， ２ｏ０８：３１—４Ｏ． ［２］ ＹＯＵＮＧＥ Ａ Ｊ，ＨＥＮＳＣＨＥＬ Ｒ，ＢＲＯＷＮ Ｊ Ｔ，ｅｔ ａ１．Ａｎａｌｙｓｉｓ ｏｆ ｖｉｒ－ ｔｕａｌｉｚａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｉｅｓ ｆｏｒ ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔｓ ［Ｃ］／／ＣＬＯＵＤ’１ １：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１ １ ＩＥＥＥ ４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ．Ｗａｓｈｉｎｇｔｏｎ，ＤＣ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ．２０１１：９—１６． ［３】ＤＩＡＺ Ｊ，ｖｏｎ ＬＡＳＺＥＷＳＫＩ Ｇ，ＷＡＮＧ Ｆ，ｅｔ ａ１．Ｔｏｗａｒｄｓ ｃｌｏｕｄ ｄｅ－ ｐｌｏｙｍｅｎｔｓ ｕｓｉｎｇ ＦｕｔｕｒｅＧｒｉｄ［Ｒ】．Ｂｌｏｏｍｉｎｇｔｏｎ：Ｉｎｄｉａｎａ Ｕｎｉｖｅｒｓｉｔｙ， ２０１１． ［４】 ＫＥＡＨＥＹ Ｋ，ＦＯＳＴＥＲ Ｉ，ＦＲＥＥＭＡＮ Ｔ，ｅｔ ａ１．Ｖｉｒｔｕａｌ ｗｏｒｋｓｐａｃｅｓ ｉｎ ｔｈｅ ｄ［Ｃ】／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｕｒｏ—Ｐａｒ Ｃｏｎｆｅｒｅｎｃｅ，ＬＮＣＳ ３６４８．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ－Ｖｅｒｌａｇ，２００５：４２１— ４３１． 【５］ ＺＨＡＮＧ Ｘ，ＫＥＡＨＥＹ Ｋ，ＦＯＳＴＥＲ Ｉ，ｅｔ ａ１．Ｖｉｒｔｕａｌ ｃｌｕｓｔｅｒ ｗｏｒｋ— ｓｐａｃｅｓ ｆｏｒ ｄ ａｐｐｌｉｃａｔｉｏｎｓ，ＡＮＬ／ＭＣＳ—Ｐ１２４６—０４０５［Ｒ／ＯＬ】． ［２０１３—０３—１６１．ｈｔｔｐ：／／ｗｗｗ．ｎｉｍｂｕｓｐｒｏｊｅｃｔ．ｏｒｇ／ｆｉｌｅｓ／ＶＷＣｌｕｓ－ ｔｅｒＴＲＡＮＬ——＿ＭＣＳ—Ｐ１２４６－０４０５．ｐｄｆ． ［６］ ＡＤＡＢＡＬＡ Ｓ，ＣＨＡＤＨＡ Ｖ，ＣＨＡＷＬＡ Ｐ，ｅｔ ａ１．Ｆｒｏｍ ｖｉｒｔｕａｌｉｚｅｄ ｒｅｓｏｕｒｃｅｓ ｔｏ ｖｉｒｔｕａｌ ｃｏｍｐｕｔｉｎｇ ｇｎｄｓ：ｔｈｅ Ｉｎ—ＶＩＧＯ ｓｙｓｔｅｍ【Ｊ】．Ｆｕ— ｔｕｒｅ Ｇｅｎｅｒａｔｉｏｎ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍｓ，２００５，２１（６）：８９６—９０９． ［７】 ＹＯＵＳＥＦＦ Ｌ，ＷＯＬＳＫＩ Ｒ，ＧＯＲＤＡ Ｂ，ｅｔ ａ１．Ｅｖａｌｕａｔｉｎｇ ｔｈｅ ｐｅｒ－ 【９］ ｔｉｉｆｃ ＨＰＣ ａｐｐｌｉｃａｔｉｏｎｓ：ｆｅａｓｉｂｉｌｉｔｙ ｏｆ ｒｕｎｎｉｎｇ ｃｏｕｐｌｅｄ ａｔｍｏｓｐｈｅｒｅ・－ｏ－ ｃｅ卸ｃｌｉｍａｔｅ ｍｏｄｅｌｓ ｏｎ Ａｍａｚｏｎ’ｓ ＥＣ２【Ｃ】／／ＣＣＡ ２００８：Ｔｈｅ １ｓｔ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ．Ｃｈｉｃａｇｏ：［ｓ． １ｆ．】，２００８：１—６． 【１０】 ＧＡＶＲＩＬＯＶＳＫＡ Ａ，ＫＵＭＡＲ Ｓ，ＲＡＪ Ｋ，ｅｔ ａ１．Ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ ｈｙｐｅｒｖｉｓｏｒ ａｒｃｈｉｔｅｃｔｕｒｅｓ：ｖｉｔｒｕａｌｉｚａｔｉｏｎ ｉｎ ＨＰＣ ｓｙｓｔｅｍｓ［Ｃ／ＯＬ］／／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １ ｓｔ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｙｓｔｅｍ—ｌｅｖｅｌ Ｖｉｔｒｕａｌｉｚａｔｉｏｎ ｆｏｒ Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ［２０１３一Ｏ５一Ｏ６】．ｈｔｔｐ：／／ｗｗｗ． ｅｓｍ．ｏｒｎ１．ｇｏｖ／ｓｒｔ／ｈｐｅｖｉｒｔ０７／ｐａｐｅｒｓ／ｐａｐｅｒｌ０．ｐｄｆ． ＥＫＡＮＡＹＡＫＥ Ｊ，ＦＯＸ Ｇ．Ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｐａｒｌａｌｅｌ ｃｏｍｐｕｔｉｎｇ ｗｉｔｈ ｃｌｏｕｄｓ ａｎｄ ｃｌｏｕｄ ｔｅｃｈｎｏｌｏｇｉｅｓ【Ｃ】／／Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ，Ｌｅｃ— ｔｕｒｅ Ｎｏｔｅｓ ｏｆ ｔｈｅ Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅｓ，Ｓｏｃｉａｌ—Ｉｆｎｏｒｍａｔ— ｉｃｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｅｎｇｉｎｅｅｒｉｎｇ ３４．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ－Ｖｅｒ－ ｌａｇ，２０１０：２０—３８． ［１２】 ＬＵＳＺＣＺＥＫ Ｐ，ＭＥＥＫ Ｅ，ＭＯＯＲＥ Ｓ，ｅｔ ａ１．Ｅｖａｌｕａｔｉｏｎ ｏｆ ｔｈｅ ＨＰＣ Ｃｈａｌｌｅｎｇｅ ｂｅｎｃｈｍａｒｋｓ ｉｎ ｖｉｒｔｕａｌｉｚｅｄ ｅｎｖｉｒｏｎｍｅｎｔｓ【Ｃ］／／ Ｅｕｒｏ—Ｐａｒ＇１ １：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１ １ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｒａｌｌｅｌ Ｐｒｏｃｅｓｓｉｎｇ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ—Ｖｅｒｌａｇ．２０１ １：４３６—４４５． ¨３】 ＫＵＤＲＹＡＶＴＳＥＶ Ａ，ＫＯＳＨＥＬＥＶ Ｖ，ＰＡＶＬＯＶＩＣ Ｂ，ｅｔ ａ１．Ｖｉｒｔｕ— ａｌｉｚｉｎｇ ＨＰＣ ａｐｐｌｉｃａｔｉｏｎｓ ｕｓｉｎｇ ｍｏｄｅｒｎ ｈｙｐｅｒｖｉｓｏｒｓ［Ｃ】／／Ｆｅｄｅｒａｔ－ ｅｄＣｌｏｕｄｓ’１２：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１２ Ｗｏｒｋｓｈｏｐ ｏｎ Ｃｌｏｕｄ Ｓｅｒｖ－ ｉｃｅｓ，Ｆｅｄｅｒａｔｉｏｎ，ａｎｄ ｔｈｅ ８ｔｈ Ｏｐｅｎ Ｃｉｒｒｕｓ Ｓｕｍｍｉｔ．Ｎｅｗ Ｙｏｒｋ： ＡＣＭ，２０１２：７—１２． ［１４】 ＨＰＣ Ｃｈａｌｌｅｎｇｅ［ＥＢ／ＯＬ】．［２０１３—０５—２３】．ｈｔｔｐ：／／ｉｃ１．ａｓ．ｕｔｋ． ｅｄｕ／ｈｐｅｅ／． 【１５】 ＬＵｓＺＣＺＥＫ Ｐ，ＢＡＩＬＥＹ Ｄ，ＤＯＮＧＡＲＲＡ Ｊ，ｅｔ ａ１．Ｔｈｅ ＨＰＣ Ｃｈａｌ— ｌｅｎｇｅ（ＨＰＣＣ）ｂｅｎｃｈｍａｒｋ ｓｕｉｔｅ【Ｃ】／／ＳＣ＇０６：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００６ ＡＣＭ／ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｕｐｅｒｅｏｍｐｕｔｉｎｇ．Ｎｅｗ Ｙｏｒｋ： ＡＣＭ，２００６：Ａｒｔｉｃｌｅ Ｎｏ．２１３． ［１６】 ＮＡＳ Ｐａｒａｌｌｅｌ Ｂｅｎｃｈｍａｒｋ【ＥＢ／ＯＬ］．【２０１３一Ｏ５—０３】．ｈｔｔｐ：／／ ｗｗｗ．ｎａｓ．ｎａｓａ．ｇｏｖ／ｐｕｂｌｉｃａｔｉｏｎｓ／ｎｐｂ．ｈｔｍ１． 【１７］ ＦｕｔｕｒｅＧｒｉｄ［ＥＢ／ＯＬ】．［２０１３—０３—２３］．ｈｔｔｐｓ：／／ｐｏｒｔａ１．ｆｕｔｕｒｅ一 ｄ．ｏｒｇ／ａｂｏｕｔ． 【１８］ ＬＩ Ｃ Ｙ，ＸＩＥ Ｊ Ｚ，ＺＨＡＮＧ Ｘ Ｊ．Ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｂａｓｅｄ ｏｎ ｏｐｅｎ ｓｏｕｒｃｅ ｃｌｏｕｄ ｐｌａｔｆｏｒｍｓ ｆｏｒ ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐｕｔｉｎｇ［Ｃ】／／ ＩＣＩＮＩＳ ２０１３：Ｔｈｅ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｎｅｔ— ｗｏｒｋｓ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ．Ｓｈｅｎｇｙａｎｇ：【ｓ．ｎ．］，２０１３． ［１９】 ＫＯＨ Ｙ，ＫＮＡＵＥＲＨＡＳＥ Ｒ Ｃ，ＢＲＥＴＴ Ｐ，ｅｔ ａ１．Ａｎ ａｎａｌｙｓｉｓ ｏｆ ｐｅｒｆｏｒｍａｎｃｅ ｉｎｔｅｒｆｅｒｅｎｃｅ ｅｆｆｅｃｔｓ ｉｎ ｖｉｔｒｕａｌ ｅｎｖｉｒｏｎｍｅｎｔｓ［Ｃ】／／ＩＳ－ ＰＡＳＳ ２００７：ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｐｅｒｆｏｒｍａｎｃｅ Ａｎａｌｙ— ｓｉｓ ｏｆ Ｓｙｓｔｅｍｓ ａｎｄ Ｓｏｆｔｗａｒｅ．Ｐｉｓｃａｔａｗａｙ：ＩＥＥＥ．２００７：２００—２０９． ［２０］ ＢＡＲＨＡＭ Ｐ，ＤＲＡＧＯＶＩＣ Ｂ，ＦＲＡＳＥＲ Ｋ，ｅｔ ａ１．Ｘｅｎ ａｎｄ ｔｈｅ ａｒｔ ｏｆ ｖｉｒｔｕａｌｉｚａｔｉｏｎ［Ｃ］／／ＳＯＳＰ＇０３：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｎｉｎｅｔｅｅｎｔｈ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍｓ Ｐｒｉｎｃｉｐｌｅｓ．Ｎｅｗ Ｙｏｒｋ： ＡＣＭ．１６４一ｌ７７． ［２１】 ＨＵＡＮＧ Ｗ，ＬＩＵ Ｊ Ｘ，ＡＢＡＬＩ Ｂ，ｅｔ ａ１．Ａ ｃａｓｅ ｆｏｒ ｈｉｇｈ ｐｅｒｆｏｒｍ－ ａｎｃｅ ｃｏｍｐｕｔｉｎｇ ｗｉｔｈ ｖｉｔｒｕａｌ ｍａｃｈｉｎｅｓ［Ｃ】／／ＩＣＳ＇０６：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｕｐｅｒｃｏｍｐｕｔｉｎｇ． Ｎｅｗ Ｙｏｒｋ：ＡＣＭ．２００６：１２５—１３４．
