五分钟学GIS _ 大数据之分布式空间分析服务

如题所述

第1个回答  2022-07-04

分布式空间分析服务是什么

  分布式空间分析服务是SuperMap iServer 9D中新增的一个扩展模块,其利用Spark分布式计算方式,对超大体量的空间数据进行各种分析。可接入分布式存储的地理数据,如 HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)存储的数据、iServer DataStore 中存储的关系型数据、以及 UDB 中存储的点线面数据。其提供强大的空间分析能力,例如大数据的地图出图、分析与管理。所有功能提供 REST API,方便开发与扩展。

优点

性能非常高
 分布式空间分析服务利用Spark分布式计算方式,将一个分析任务分解为多个子任务,最终通过分布式计算快速得到结果(如下图)。

适用的场景

1.传统空间分析处理时间长,想要大幅度提高处理效率。
例如:某项目中,2261万条纪录面(68.3GB大小)与3502平方公里的不规则面叠加分析,传统分析(机器:32核CPU,64GB内存)需要42.5分钟,而采用分布式计算模式(机器:4台4核CPU,16G内存机器)只需2.1分钟,性能提升20倍。

2.传统方式处理不了的数据内容。
例如:10亿点和1000W个面进行聚合,使用传统模式处理不了这种级别的数据。

3.项目适应未来技术趋势,即对传统数据进行分布式存储,分布式计算,实时数据处理,非结构化存储等。

GIS

SuperMap iServer 9D采用4节点集群方式,每节点配置32G、4Core,采用A+B数据方式,进行大数据量的空间分析(点聚合分析功能):

相似回答