云计算的基础架构：并行计算+资源虚拟化
发布时间：2022-09-16 14:45:09 所属栏目：云计算 来源：
导读： 一、引言
科学计算包括数学模型和数值求解技术来解决科学，社会科学和工程问题。这些模型往往需要大量的计算资源进行大规模的实验，或计算复杂性削减到一个合理的时间框架。这些需求已初步具有专用高性能
科学计算包括数学模型和数值求解技术来解决科学，社会科学和工程问题。这些模型往往需要大量的计算资源进行大规模的实验，或计算复杂性削减到一个合理的时间框架。这些需求已初步具有专用高性能
|
一、引言 科学计算包括数学模型和数值求解技术来解决科学，社会科学和工程问题。这些模型往往需要大量的计算资源进行大规模的实验，或计算复杂性削减到一个合理的时间框架。这些需求已初步具有专用高性能计算（HPC）的基础设施，如集群或同一部门联网的机器群，这些基础设施由“CPU周期清道夫”管理，如秃鹰软件。随着网格计算的到来，给科学家提供了新的机会：与电网完全类比，计算网格可以按需提供“马力”从事大型实验，依托机器的网络潜在的延伸到世界各地。计算网格引入新的功能，动态发现服务，依靠大量属于管理域的资源和发现满足应用要求的最佳机器设置的能力。科学计算网格已变得如此成功，以至于许多国际项目导致了建立世界范围的基础设施提供给科学计算。开放科学电网，最初设想使大型强子对撞机数据分析便利，连接25000台主机设备和为不同学科的数据密集型研究提供支持，比如生物，化学，粒子物理，地理信息系统。欧洲高效电子科学网络起初由欧盟委员会资助，连接亚欧、美国超过91个机构，建立世界最大的各种科学的计算网格基础设施。TeraGRID是一个国家科学基金会资助的项目，提供科学家大量的建立在9个资源提供商伙伴网站的资源顶部。它被用于4000个用户，200多所大学的在分子生物学，海洋科学，地球科学，数学云计算架构方案，神经科学，设计与制造，以及其他学科的先进研究。这些仅仅是科学网格计算最具代表性的例子。 尽管网格技术在科学计算上的广泛使用，由大量运用上述计算网格的项目证实，有些问题仍然不像描述的使用这种技术这么容易。有些问题是官僚的：这些网格在全球范围内分享，研究团体要提交提案描述他们希望来进行的研究类型。这种做法导致了竞争地使用科学网格，使小型研究项目无法获得。其他问题是技术，更重要的是：在大多数情况下的科学网格功能预包装应用程序将被执行的环境，有时具体的工具和API不得不使用，有可能在宿主操作系统或运行环境所提供的服务有限制。虽然网格计算有动态发现的服务，以及对各种应用的运行环境，在实践中一组有限的选项供科学家选择，有时它们不能有足够的弹性来应付需求。一个实际的例子，关于具体软件的使用，可能在程序执行的运行环境中无法使用。在一般情况下，运行在科学网格中的应用程序以任务包的形式实现，应用程序，工作流程和MPI（消息传递接口）并行过程。一些科学实验无法适应这些模型，必须进行重组或重新设计来使用科学网格。鉴于官僚问题可以是一个小问题，技术问题是科学计算的基本障碍。从这个方面上讲，PlanetLab提出的基于虚拟机的方法很有用。PlanetLab是用于开发，部署和访问行星规模服务的开放平台。用户赋予一个接入PlanetLab基础设施节点集虚拟机的刀片机，因此，一个刀片机可按照具体用途完全定制。目前，PlanetLab是作为一个试验台主要用于计算机网络和分布式系统的研究，它是唯一能够访问隶属于企业和大学的PlanetLab节点的基础设施。这使得它被用于计算科学相当有限。 云计算，目前提供IT服务出现的新趋势，许多上述问题可以解决。通过虚拟化技术手段，云计算为最终用户提供一个涵盖整个计算堆栈的各种服务，从硬件到应用级，按每使用收取。另一个重要的特征，科学家可以从中受益，能够根据应用需求和用户预算来自动伸缩使用计算基础设施的规模大小。科学家通过使用基于云技术可以很容易获得大型分布式基础设施和完全定制自己的执行环境，从而实现实验中完美的设置。此外，通过租用的按每使用支付的基础设施上，他们可以在没有任何容量计划立即获得所需的资源，当他们不再需要时，可以自由地释放资源。云计算为提供IT服务的每级计算堆栈提供灵活的机制：从硬件级到应用级。硬件设备和应用解决方案分别由硬件虚拟化和软件即服务提供。这使得有非常多的选择可供科学家，足以满足他们的任何具体研究需要。 云计算解决方案的热度正在快速增长。结果，他们已经在很多领域被采用了，如社交网络，商业应用和信息传递网络。目前，计算科学利用云计算仍然是有限，但实现这一目标的第一步已经完成了。今年，能源部（DOE）的国家实验室开始探索利用云计算服务进行科学计算。在2009年4月，雅虎公司宣布，它已经扩展了在美国各大顶尖大学的合作关系，推动云计算的研究和计算科学和工程的应用。第一个基于云的计算科学基础设施，科学云，已经由芝加哥大学，伊利诺伊，普渡大学和马萨里克大学共同部署。从研究观点，初步的研究已经进行了可行性的科学计算用云计算。一些研究通过分析使用的高性能计算科学应用的表现或科学实验在亚马逊云计算基础设施的表现来调查使用云计算技术的好处。 不同的解决方案可从传统的科学网格移动到云计算模式中。一些厂商，如亚马逊网络服务和VMWare靠硬件级虚拟化和按需提供计算和存储资源来提供服务。谷歌AppEngine和微软Azure更侧重于通过实施一个具体的应用模式来实现应用程序级的虚拟化，充分利用其巨大的基础设施和按需服务。其他的解决方案提供最终用户一个云计算应用程序的平台，从而提供用户一个更好的服务质量。Aneka是一个用于开发应用程序的云计算平台，可以按需利用虚拟资源的CPU周期，桌面台式机和集群。它支持多种编程模式，提供科学家表达他们的应用程序逻辑的不同选择：任务包，分布式线程，数据流，或MapReduce。它的服务导向架构提供用户一个完全定制的基础设施，能够满足应用程序所需的服务质量。 本文的其余部分的组织如下：第一，我们通过云计算参考模型和范例的关键要素概述云计算。然后，我们将介绍Aneka，并详细讨论它的特征，强调如何支持计算科学。作为个案研究，我们将介绍基因表达数据的分类和在亚马逊EC2上执行的科学工作流程。最后讨论关于作为科学计算有效支持的云计算的未来发展方向的思考和展望。 （编辑：天瑞地安资讯网_保定站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐