除了spark还有哪些大数据处理

如题所述

第1个回答  2019-01-25

Hadoop

Apache开源组织的一个分布式计算框架,提供了一个分布式文件系统 (HDFS)、MapReduce分布式计算及统一资源管理框架(Yarn)的软件架构。

HBase

是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

kafka

Apache旗下的一个高性能,高吞吐量的分步式消息总线系统。

Storm

一个分布式的、容错的实时计算系统。使用Storm进行实时大数据分析。

Flink 

可扩展的批处理和流式数据处理的数据处理平台,设计思想主要来源于Hadoop、MPP数据库、流式计算系统等,支持增量迭代计算。

 Spark 

专为大规模数据处理而设计的快速通用的计算引擎。

相似回答