智能混合云计算模型工作负载分解外文翻译资料

智能混合云计算模型工作负载分解

Hui Zhang lowast; , Guofei Jiang lowast; , Kenji Yoshihira lowast; , Haifeng Chen lowast; and Akhilesh Saxena lowast;

lowast; NEC Laboratories America

Princeton, NJ 08540

Emails: {huizhang,gfj,kenji,haifeng,saxena@nec-labs.com}

摘要：尽管被吹得天花乱坠，云计算仍然在IT经理的观测名单上，让云计算被IT企业广为接受的障碍主要包括：可靠性，安全性，数据隐私，法律法规要求等。为了解决这些问题，我们提出了一个企业消费者会当做切实可行并节省成本的一套方法的混合云计算模型来使公有云服务在私有企业数据中心中得到最佳的运用。

一个智能工作负载代收服务为了混合云计算模型被设计。它联合了正在使用设备和备用基础设施来托管一个基于网络的应用，智能在于明确的分离基本负载和突然闯入的负载，这两个应用程序工作负载中截然不同的组件。这个智能负载分解服务的核心技术是快速高频率数据资料检测算法，这个算法可以分解进入请求无论以数据卷还是数据目录的形式，改变应用程序数据的声望。

通过与实际追踪分析和广泛的评价驱动的模拟和实验组成的混合动力试验台本地计算和亚马逊云服务平台平台[1],我们表明,工作量分解技术可以使可靠工作负载预测的基本负荷区(用简单的统计方法),实现资源效率(如。服务器容量高于78%,在基本负荷区)和减少数据缓存/复制开销(两个订单级)侵入负荷区,和快速反应(用一个X^2加速因子)来改变应用程序数据的声望在负载峰值的到来。

第一部分：引言

云计算,被广泛认知为在线服务例如Amazon AWS[1]和Google App Engine[2],或这些服务背后的技术组合,有一个共享的计算基础设施承载多个应用程序管理-隐藏复杂性和资源复用导致效率;当应用程序的工作负载比目前分配需求需要更多的资源时，就需求更多的计算资源。

尽管管理简化和效用计费模型存在优势，云计算仍然受到IT企业的质疑。对云计算的担忧包括服务的可靠性，缺乏服务水平协议、安全、客户数据隐私，政府法规监管要求等（请参照[3]这个有趣的讨论）。例如，信用卡工业数据安全标准的审计需要设计信用卡的电子商务系统，审计人员需要一个清晰的物理演示服务器基础设施、软件配置和网络部署；亚马逊S3云服务器2008年2月5日的中断刷新了人们对于基于云的计算解决方案的担忧。

这篇文章提出了一种混合云计算模型，企业客户可以基于本模型设计和计划他们的计算平台托管网络高度动态的应用程序工作负载。混合云计算模型的特性是自然发育的系统架构，两个不同的组件在互联网应用的总工作量在于：基本负载和侵入负载下的明确分工管理。基本负载是指小而流畅、由应用平台一直执行的负载。侵入负载是指足够大但是很少时间瞬时负载达到峰值的负载（比如5%的重负载时间）。资源平台基本负载可以在企业数据中心用经济容量规划和高资源利用率管理。而侵入负载可以通过云服务供应需求利用弹性的云基础设施。

一个智能工作负载分配机制被作为一个使能混合云计算模型而设计。它的基本功能是通过不可预测的峰值将工作负载分成两部分，然后确保基本负载部分在计划数量内，侵入负载产生最小缓存或者复制一部分与需求相关联的应用程序数据。这简化了系统架构设计的侵入负载区，显著增加了服务器的性能。至于基本负载区，工作负载活动显著减少，这使得通过过度供应因素和较低的容量规划或有效动态动态资金成为可能。

我们建立了一个视频流服务试验台作为展示的混合云计算模型。它有一个本地集群的基本负荷资源区和Amazon EC2基础设施[1]侵入区;保理计划被实现为一个工作负载负载控制器之间的仲裁流载荷分布的两个区域。与广泛的分析、追踪驱动模拟和实验的实验中,我们显示负荷分解技术可以使可靠预测的基本负荷区与简单的统计学的——提卡(技术),实现资源效率(如。服务器容量高于78%,在基本负荷区)和减少数据缓存/复制开销(两个数量级)侵入负荷区,和快速反应(X^2加速因子)改变应用程序数据流行在负载峰值的到来。

请注意,本文中给出的技术绝不是混合云计算模型的完整的解决方案。有许多技术组件跳过讨论如负载平衡方案的两个区域,数据复制和一致性管理的侵入区,为一个混合平台安全管理等等。摘要我们关注工作量分解组件,因为它是一个独特的混合云计算需求的功能架构。此外,我们表示具体描述和评估我们的技术在视频流应用程序的上下文。

余下部分论文组织如下。第二部分描述了设计原理和体系结构的混合云计算模型。我们目前的工作负载的模型和技术细节问题分解计划在第三节,和分析结果快速频繁的数据项检测算法所使用的工作分解计划在第四节。第五部分给出了评价结果。第六章我们介绍相关工作,第七节本文结论与未来的工作。

第二部分：混合云计算模型

我们的目标与外扩架构应用程序是基于internet的应用程序;他们可以复制服务实例按需分发和处理增加工作量。例子包括无状态应用程序,比如YouTube视频服务[5]和有状态应用程序如GigaSpaces XAP web应用程序[6]。混合云计算模型的设计目标是实现资源效率和QoS保证在高度动态工作负载当托管扩展应用程序。

A.设计原理

为了具体表现，我们讨论一个设计方法通过我们的观察测量工作负载的一个实际互联网web服务。

图1显示了46天间每小时全美第二大视频在线网站雅虎视频的动态工作负载。应用统计分析技术包括自回归综合移动平均ARIMA和傅里叶分析转移，我们观察到在大多数时候（比如7月23日-7月27日之间）负载变化存在周期性成分，然而大峰值是不可预测的。因此，资源规划在大多数时候都会很有效，但并不总是有效。我们同时观察到最大负载和平均负载的比为5.3（如果以半小时为间隔进行测试这个值将为12.9），这使得过度供应超越峰值变得非常低效。根据上述观察，我们相信一个集成主动和被动资源的管理计划应该随着时间用于不同成分的聚合，主动管理有机会在大多数时间在可靠预测工作负载的基础上实现资源的效率利用。同时无功管理应对突如其来的工作负载和敏捷性和反应性能的要求。

图1：雅虎网站视频流工作负载演变

图2：稳定间隔和突发间隔视频人气比较

虽然我们不能预测这些意料之外的工作负载高峰,有必要学习突发的性质,找出一个有效的方法来处理一次这样的事件发生。比较常见的数据分布在一个上升区间,在正常区间之前它在图1图2所示。显然,突发性工作负载可以看作是两个部分:一个基础工作负载类似在前面的正常时期的工作负载,以及侵入载荷是由几个非常受欢迎的数据项(视频)造成。实际上这种现象并不仅限于我们的测量,它是一个典型的模式在flash中人群流量和解释通过slash-dot效应(或者Digg效应等等)。这种模式表明,我们可能不需要复杂的负载调度方案侵入负载部分,因为大多数请求将少量的独特的数据项。随着侵入载荷极高的内容位置,操作员可以进行最好的数据缓存,只需提供额外的服务器情况，最好能估计基于最大缓存命中率(比这更高的服务器容量缓存命中率较低,当我们willshow V-B2节)。工作负载管理的挑战在于工作量分解的反应变化的数据流行分布。

图3：混合云计算模型中的主平台架构

B.架构

图3展示了混合云计算模型中的应用程序平台架构。它包括2个资源区：一个专用于本地数据中心平台的应用程序的基本区，和一个托管在运设备上的应用程序平台的侵入区。基本区一直运行，处理应用程序的基本负载。由于基本负载卷在消除分散的峰值后不会引人注目的改变。本地数据中心预计将运行在一个紧凑的、高效利用的模式即使小量利润资源套印被需要用来保证应用质量和服务保证。侵入区按照需求进行预分配，并在短暂突发时期被使用。然而资源侵入区可能必须过度预分配（比如是基本区的几倍）。它仅仅在少量时间被利用如5%总时间。每一个资源区有它自己的负载平衡机制来管理分散的工作负载，这篇文章中我们并不讨论其中的细节。

在工作负载分解成分的开始。工作负载组件的设计目标包括2个：

使基本区应用平台的工作负载动态变得平滑，通过负载重定向避免过载情景。通过数据卷和被请求的应用数据的负载分解使侵入区应用平台敏捷。

通过选择性的调度请求将相似数据对象调度到侵入区。工作负载分解机制旨在减少生成的数据应用缓存以及复制开销，这将给侵入区平台的性能带来多种好处：

·只有少量的活动应用程序数据访问、数据存储组件在侵入区可作为数据缓存和从基本区解耦。因此云模型计算，前者是一个浮动的平台，不需要与后者通过共享物理资源绑在一起（如必须提供负载峰值的SAN）

·只提供少量的活动应用数据，应用服务器可以使用冷缓存显著地减少它们的热身时间，因此加速全局动态准备过程

·只有少量的活动应用程序缓存数据，应用程序服务器可以最大限度的发挥各自的能力并拥有较高的缓存命中率

·只有少量的活动应用数据被请求，简单负载平衡机制如随机或者循环都能起到复杂机制的效果

我们会在第三部分里讨论负载分解机制的细节。

C.讨论

混合云计算模型的动力来源于动态工作负载管理,它解决了很多问题在企业客户完整的云计算模型完全依赖于公共云服务应用程序托管。例如,遗留企业IT基础设施不需要被废除,而供电的能力来处理他们的工作量的长尾;公共云服务可用性不再是至关重要的零星的利用率(two-9s定义可用性转化为four-9s如果负载峰值在1%的时间);数据安全与隐私问题不会严重缓存应用程序数据只是暂时在公共云在短时间内;数据传输瓶颈可以很大程度上缓解只有一小部分的公共云上的应用程序数据复制。

当我们提到公有云服务的云，我们的模型同样可以应用到私有云。当一个企业数据中心拥有足够的资源（服务器），私有云将会被建立来通过服务巩固资源复用，轮辐式基础设施架构设计可以基于混合模型。应用的基本区是辐条，和一个共同的侵入区从多个应用程序作为中心和主机的共享平台。因为派出的侵入负荷工作量分解方案本质上是随机的，所以通过中心辐射型结构统计复用的效率将达到最大化。

第三部分：智能工作负载分解

A.问题模型

我们把一个一般工作负载分解处理过程视为超图分解问题模型。应用程序中每一个对象（例如一个视频片段或一张DB表）视作一个顶点，每一个服务请求类型视作网络，网络和顶点的连接表示应用数据对象和请求类型的访问关系。这导致了一张超图H=(V,N),V表示顶点集，N表示网集；每一个顶点vi的权重wi表示被期待的工作负载，这是计算他被访问程度的数据；另一个vi的权重si表示这个对象的数据大小，每个网络的代价cj表示这个访问请求造成的数据访问开销，由请求数量*相邻数据对象大小计算。

k路超图的分区,一个np难度问题[11],是分配所有顶点(数据对象)K(K = 2在我们的例子中)不相交的非空的位置没有预期的工作负载超出了他们的能力,并实现成本最小的分区，即公式：min（sum;njisin;NEcj gamma;sum;viisin;V侵入si）其中sum;njisin;NEcj表示网络消费，sum;viisin;V侵入si表示侵入区数据对象的总大小，代表了数据传输和复制的开销。gamma;表示分配两种成分开销权重的参数。

bi-section分区机制是一种推荐的快速分区方案。对于视频流服务来说，请求数据关系很简单，并没有对于一个数据项目用网络切割作为一个请求访问。分区问题可以简化为背包问题，我们的贪婪机制可以从基本区一个接一个的排名视频的热度知道到达侵入区的容量。这等同于重新定向在顶级列表的最热门数据项目到侵入区，剩下的问题就是如何在流行过渡期限内快速的产生正确的最热门的k个数据的列表，接下来我们会给出工作负载分解过程的细节。

B.逻辑视图

图4：工作负载分解过程的逻辑视图

如同图四所示，智能工作负载分解计划有三个基本组成成分：负载分析、基本负载阈值以及快速分解。工作负载分析组件更新当前的系统负载在传入的请求，并与基本负载阈值比较来决定是处于普通模式还是恐慌模式。基本负载阈值决定基本区可以处理的最大负载；它可以由操作员根据基本区的容量手动配置，或者根据历史记录信息自动设置，这也会输入到基本区资源配置。当当前系统负载不高于基本负载阈值时，快速分解过程处于通常模式，它仅仅简单的把请求放入基本区。当当前系统负载高于基本负载阈值时，快速分解过程进入恐慌模式，它将查询高频数据对象检测算法来检查是否输入数据属于热点，如果是就把请求进入侵入区，否则进入基本区。

图5：fastTopK算法的概要描述

C.快速高频数据项检测算法

我们把这个快速高频数据项检测算法称作fasttopK。如图5所示，它有如下的数据结构：一个先进先出的队列来记录上c个请求，一个列表来记录当前前k个受欢迎数据项，一个列表记录历史前k个受欢迎的数据项，一个计数器列表来记录受欢迎数据项的被访问频次。基于请求r，如果r将会进入基本区算法将输出base，否则算法输出Trespassing。工作原理如下：

如果系统处于普通模式，历史前K受欢迎列表将被设为空值。如果系统处于恐慌模式，并且请求r是进入恐慌模式后的第一个请求，拷贝当前的最受欢迎的k个数据项列表到历史最受欢迎的k个数据项列表，重置所有频次计数器为

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[141690]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 20元 才能查看原文和译文全部内容！

（编辑：天瑞地安资讯网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!