分布式与云计算系统第一章.ppt 59页
|
Distributed and Cloud Computing分布式与云计算系统;分布式系统模型和关键技术 ;1.1 互联网之上的可扩展计算 分布式系统是个由多个互相连接的处理资源组成的计算机系统，它们在整个系统的控制下协同执行同一个任务，最少依赖于集中的程序、数据或硬件。 优点：缺点：;互联网之上的可扩展计算;;计算范式间的区别：集中式计算:这种计算范式是将所有计算资源集中在一个物理系统之内。所有资源（处理器、内存、存储器）是全部共享的，并且紧耦合在一个集成式的操作系统中。 并行计算：在并行计算中，所有处理器或是紧耦合于中心共享内存或是松耦合于分布式内存。 分布式计算：一个分布式系统由众多自治的计算机组成，各自拥有其私有内存，通过计算机网络通信。分布式系统中的信息交换通过消息传递的方式完成。;云计算：一个互联网云的资源可以是集中式的也可以是分布式的。云采用分布式计算或并行计算，或两者兼有。云可以在集中的或分布式的大规模数据中心之上，由物理的或虚拟的计算资源构建。普适计算是指在任何地点和时间通过有线或者无线网络使用普遍的设备进行计算。物联网是一个日常生活对象（包括计算机、传感器、人等）网络化的连接。 物联网通过互联网云实现任何对象在任何地点和时间的普适计算。互联网计算这一术语几乎涵盖了所有和互联网相关的计算范式。;HPC和HTC系统需要遵从如下设计原则： 效率:在HPC系统中开发大规模并行计算时，度量执行模型内资源的利用率。对于HTC系统，效率更依赖于系统的任务吞吐量、数据访问、存储、节能。 可信：度量从芯片到系统到应用级别的可靠性和自管理能力。目的是提供有服务质量（QoS）保证的高吞吐量服务，即使是失效的情况下。 编程模型适应性：度量在海量数据集和虚拟云资源上各种负载和服务模型下支持数十亿任务请求的能力。 应用部署的灵活性：度量分布式系统能够同时很好地运行在HPC（科学和工程）和HTC（商业）应用上的能力。;可扩展性计算趋势和新的范式位级并行（BitLevel Parallelism，BLP）指令级并行（InstructionLevel Parallelism，ILP）。通过指令流水线、超标量计算、VLIW体系结构、多线程实践了ILP。ILP需要分支预测、动态规划、投机预测、提高运行效率的编译支持。数据级并行（DataLevel Parallelism，DLP）的流行源于SIMD和使用向量与数组指令类型的向量机任务级并行（TaskLevel Parallelism，TLP）作业级并行（JobLevel Parallelism ，JLP）;10;新技术成熟周期;新技术成熟周期;新技术成熟周期;新技术成熟周期;2011 Gartner “IT Hype Cycle” for Emerging Technologies;物联网和CPS物联网是指日常生活中对象、工具、设备或计算机间存在网络互连。 物联网为互联了所有我们生活中的对象的无线传感器网络。CPS是计算过程和物理世界之间交互的结果。CPS集成了“计算节点”（同构，异构）和“物理”（并发和信息密集的）对象。CPS在物理世界和信息世界之间将“3C”技术（计算、通信、控制）融合到了一个智能闭环反馈系统中。物联网强调物理对象之间的多样化连接，而CPS强调物理世界中虚拟现实应用的开发和研究。;1.2 基于网络的系统技术多核CPU和多线程技术;摩尔定律 ;图1-5 现代多核CPU芯片的层次cache示意图，其中L1 cache是每个核私有的，片上L2 cache是共享的，L3 cache和DRAM是非片上的;图1-6 现代CPU处理器的5种微体系结构，通过多核和多线程技术支持ILP和TLP;图1-7 数百或数千处理核心的海量并行处理中协同CPU的GPU使用;GPU与CPU（一）;GPU与CPU（二）;GPU与CPU（三）;GPU与CPU（四）;内存、外部存储和广域网 ;图1.11三种连接服务器、客户机、存储设备的互连网络，LAN连接客户机和服务器，SAN连接服务器和磁盘阵列云计算分布式系统，NAS连接客户机和网络环境中大规模存储系统;图1-12 三种虚拟机体系结构与传统的物理机的比较;Primitive Operations in Virtual Machines: ;1.3 分布式和云计算系统模型分布式和云计算系统都建立于大量自治的计算机节点之上。 这些节点通过SAN、LAN或WAN以层次方式互连。大系统被认为高可扩展，并能在物理上或逻辑上达到Web规模互连。大系统被划分为四组：集群、P2P网络、计算网格、大数据中心之上的互联网云。;31;A Typical Cluster Architecture;计算机集群 ;计算机集群;计算机集群;计算机集群;网格计算在过去30年，用户经历了一个从互联网到Web和网格计算服务的自然发展。互联网服务（如Telnet命令）使本地计算机可以连接到一台远程计算机。一个Web服务（如HTTP）使远程访问Web页面成为可能。网格计算被预想用于同时在多台远距离计算机上运行的应用间进行近距离交互。网格呈现为集成的计算资源。它们也可以被视为支持虚拟组织的虚拟平台。;图1-16 计算网格或数据网格通过资源共享和多个组织间合作提供了计算效用、数据和信息服务;网格计算;40;对等网络家族客户端服务器体系结构。客户机（PC和工作站）被连接到一个中央服务器，用来进行计算、电子邮件、文件访问和数据库应用。P2P体系结构提供了一个分布式的网络化系统模型。在一个P2P系统中，每个节点既是客户端又是服务器，提供部分系统资源。 节点机器都是简单的接入互联网的客户机。所有客户机自治、自由地加入和退出系统。不存在主从关系。无需中心协作或中心数据库。系统是分布式控制下自组织的。; 覆盖网络:简单说来覆盖网络就是应用层网络，它是面向应用层的，不考虑或很少考虑网络层，物理层的问题。如p2p、基于内容的网络。P2P计算在硬件、软件和网络需求上面临三类异构问题。有太多的硬件模型和体系结构而无法选择；软件和操作系统间不相容；不同的网络连接和协议使其过于复杂而无法应用于真实应用。;图1-17 通过映射物理IP网络到一个覆盖网络络建立虚拟链接的P2P系统结构;44;互联网上的云计算 ;Basic Concept of Internet Clouds;1.4 分布式系统和云计算软件环境面向服务的体系结构（SOA） ;面向服务的体系结构 ;面向服务的体系结构 ;网格与云网格和云之间的界限近年来变得越来越模糊。网格系统使用静态资源，而云强调弹性资源。网格和云之间的不同仅限于基于虚拟化和自治计算的动态资源管理。可以通过多个云建立网格。这种网格比一个单纯的云能更好的工作，因为它能明确支持协议资源分配。从而可以建立系统的系统，如云之云、云网格、网格云，或互联云作为一个基本SOA体系结构。 ;分布式操作系统趋势 ;;并行和分布式编程模型 ;Grid Standards and Middleware :;1.5 性能、安全和节能性能度量:分布式系统中性能与许多因素相关。系统吞吐量经常用MIPS、Tflops（每秒T浮点运算次数）或TPS（Transactions Per Second，每秒事务数）测量。其他度量包括作业响应时间和网络延迟。系统开销通常归因于操作系统启动时间、编译时间、I/O数据速率和运行时支持系统消耗。其他性能相关度量包括互联网和Web服务的QoS、系统可用性和可靠性，以及系统抵抗网络攻击的安全弹性。;可扩展性:规模可扩展性：指通过增加机器数量来获取更高的性能和更多的功能。软件可扩展性：指升级操作系统或编译器，增???数学和工程库，移植新的应用软件，安装更多的用户友好的编程环境。应用可扩展性：指问题的规模扩展与机器的大小扩展相匹配。用户可以通过放大问题的规模来提高系统效率。技术可扩展性：指系统可以适应构建技术的变化;网络威胁与数据完整性图1-25 对计算机的各种系统袭击和网络威胁及造成的4种损失;运行服务器的节能 ;运行服务器的节能 （编辑：天瑞地安资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
