深入剖析ArcGIS 10.7空间大数据技术架构及应用
|
用户使用ArcGIS多年，从9.3版本一路追随到10.5时代，可谓一直走在技术和应用的前沿，但是不同于以往做项目开发，现在要统筹做大数据平台项目建设，从技术总监到开发人员和业务人员，均存在一系列困惑： 1.该从何处着手去做大数据平台建设？ 2.做大数据平台的整体思路是什么？ 3.如何设计出有价值的空间大数据应用场景？ 4.数据量约4TB，如何做数据存储、管理、分析的综合解决方案设计？ 这也是近一年来，很多用户较为关注的问题，我们不仅仅关心软件功能、分析架构，更关心如何与自己的业务结合起来？如何对复杂的、多源的数据进行整合、存储、管理？如何建立起固化的业务分析模型，从而支撑多维度应用？如何进行更好的开发扩展，实现业务系统建设？ 2019年3月22日，ArcGIS GeoAnalytics Server 10.7大数据产品正式推出，在这一版中，做了全方位调整和优化，可以从功能增强、性能提升、开发扩展、和运维监控四个维度进行详述。 ArcGIS GA 10.7功能增强 ArcGIS GA 10.7中，新增7个大数据分析工具，分别是裁剪数据、融合数据、合并数据、描述数据集、构建多值段网格、随机森林分类和回归、广义线性回归等。即涵盖了传统业务分析中常用的数据处理功能，也推出了基于分布式计算的分类和回归预测工具，通过在ArcGIS平台内部、或者使用API调用，即可完成模型训练和值的预测。 Clip工具对性能提升 Clip数据裁剪工具，是GA10.7中新推出的，我们在日常业务中经常遇到数据提取和分发的需求，如提取某个规划范围内的全部数据，辅助空间规划和其他业务，如果数据量级在百万级、千万级或者更大时，使用传统方式性能较低甚至无法完成。 在GA10.7中，从1000万地块数据中裁剪出20万条，耗时仅为36秒，比传统方式，性能提升了98%以上。 Union工具对应用的价值 ArcGIS GA10.7的Overlay工具中，新增几种叠加分析类型，包括Union、Identity等，Union工具对实际大数据分析应用有较大支撑，如国土空间项目的差异性分析中，输入两个年份数据，计算出发生变化的地块、以及未发生变化部分，进行全部输出，传统方式需要数次迭代、运算较为复杂，通过Union工具，可以单次完成运算，一方面提升系统分析性能，另一方面提升整体业务系统建设效率，以及提升开发人员工作效率。 融合边界 GA10.7新推出的另一个工具，边界融合，其主要功能是把多个多边形合并为一个，合并的宗旨是，要么空间相邻、要么相同属性字段。例如，国土土地利用现状地类图斑数据中，有地类名称字段，可以通过地类名称进行数据融合，属性相同空间相接的多边形将会融合为一个，最终结果即是对地类名称的分类数量。 地理赋能 可以这样理解，我们生活的地理空间上，即包含自然地理要素、人文地理要素，也包含社会经济、人口等要素，在做相关性大数据分析和探索性挖掘时，如何能够更有效的把多维、多源、多序数据组织起来，能够在相同尺度的地理空间单元上进行表达和阐述，从而进行基于地理位置的价值挖掘？ 这就是要介绍的ArcGIS GA 10.7新推出的另一个工具：基于多值段网格进行丰富数据的能力，也可以称为地理空间赋能，通过构建的多维度地理格网，利用data enrichment能力，实现指定要素的能力赋予。 例如，现在需要对北京市房价进行预测，那么影响房价的因子较多，几乎每个因子都和其空间位置、距离、权重等有关系，如何把学校、医院、商圈、交通服务设施等多维度数据，进行地理空间单元的表达，进而实现数据价值挖掘，这是一个关键点，通过构建多值段网格、和多维数据赋能，实现了覆盖北京市范围的1km单元格网的赋值，每个格网均有丰富多元的数据内涵，从而支撑下一步业务应用。 机器学习能力 ArcGIS GA 10.7中提供了机器学习能力，不同于以往Pro中的应用，现在是通过大数据工具提供，每一个分析过程均在服务器端运算，充分利用硬件资源，实现模型训练和分析值预测的能力。 通过上面汇聚整合的多维度网格数据，与北京市房屋数据做空间关联，在运用随机森林分类和回归工具进行房屋交易价预测，完成基于空间位置的模型训练和分析预测的整个流程。 ArcGIS GA 10.7性能提升 ArcGIS GA 10.7整体分析性能，较10.6有大幅度提升，在相同数据量、相同硬件环境下，执行相同的分析运算：Intersect，10.7比10.6有3~5倍性能提升。 ArcGIS GA 10.7开发扩展 ArcGIS GA10.7，可以通过Rest API、Python API、Run PythonScrip进行定制型开发，如进行自定义工具，提交到GA分布式计算框架中进行运算。 ArcGIS GA 10.7运维监控 ArcGIS GA10.7大数据分析时，每一个任务执行状态、开始时间、结束时间、任务耗时，均可监控，还可以查看细粒度的任务执行单元，真正做到了可以实时动态监控，分布式计算过程一目了然。 ArcGIS空间大数据分析场景设计 说到场景，大家较为关心的话题，是如何更好地把数据资源、业务需求、与大数据分析能力进行结合，从而形成可复用的分析场景大数据技术架构，这与业务强相关。 ArcGIS空间大数分析典型应用场景，可以分为三大类：事务计算型、辅助决策型、洞察预测型，当前我们涉及的大多内容都属于第一二范畴，随着数据量日益增长、需求日益细化，对历史数据的价值挖掘、对未来趋势的预测也逐渐成为我们关心的话题，因此GeoAI应用落地也日臻成熟。 Esri开发者大会空间大数据相关 5月21-22日，即将在北京·中国科技会堂举办的2019年Esri开发者大会，将全方位展示ArcGIS强大的空间大数据处理功能。大会还设有《ArcGIS时空大数据》专场，内容如下： Esri开发者大会 精彩抢先看 胡源 Esri中国 成都分公司技术支持部 技术工程师 ★ 《ArcGIS矢量大数据-Geoanalytics Server》 空间大数据已成为GIS部门不可或缺的无形资产，ArcGIS GeoAnalytics Server为矢量大数据的分析、挖掘提供了一种简易的方式。本讲座介绍GeoAnalytics Server的产品架构、功能和特点，以及如何使用此产品进行矢量大数据的分析并进行与业务系统的集成，最后介绍如何拓展其功能，使其拥有个性化的空间大数据处理能力。 刘春影 Esri中国 大数据解决方案组 资深架构工程师 （PS：没错，这位漂酿的小姐姐就是本文作者，欢迎来大会现场与小姐姐一起探讨时空大数据技术！） ★ 《ArcGIS 10.7影像大数据分析能力及应用》 全面介绍ArcGIS 10.7中影像数据管理能力，以及服务发布和分析计算能力，通过多个分析工具使用、以及栅格函数链构建，结合实际场景演示新一代影像服务器应用，同时会介绍ArcGIS 10.7中影像服务新引用：ArcGIS Excalibur ，通过工作流形式进行高效率影像大数据分析。 刘宇 Esri中国 产品技术部 技术工程师 ★ 《ArcGIS实时大数据-Geoevent Server》 人工智能和物联网物是当下很火的两个领域，两者皆会在智慧城市建设中发挥巨大作用。其中物联网已被公认是下一个推动世界高速发展的"重要生产力"，是世界信息化发展的第三次浪潮，物联网中大量传感设备获取的信息如射频识别，红外感应、卫星定位、激光扫描等，时时刻刻在产生着海量的信息，构成了实时数据的重要来源。ArcGIS GeoEvent Server是面向物联网传感器数据的接入而设计的，自10.5版本开始，融入实时大数据的支持技术，使得物联网的大量实时数据接入和可视化成为可能，而新近发布的10.7则在物联网和大数据方面有了进一步增强。 勾戈雪黎 Esri中国 客户及合作伙伴支持中心Server产品支持部 技术工程师 ★ 《空间大数据可视化与分析最佳实践》 如何从嘈杂的空间数据中获取可用信息？从这个问题出发，我们来了解一下如何有效地进行空间数据分析。如何将分析结果有效地展示给其他人，从视觉上辅助我们的分析结论？今天就让我们展开这次讲座的主题，来聊聊这些问题。 （编辑：天瑞地安资讯网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
