hadoop三大组件是指Hadoop分布式文件系统、MapReduce和Yet Another Resource Negotiator。
HDFS:Hadoop分布式文件系统是Hadoop的分布式文件系统,它是将大规模数据分散存储在多个节点上的基础。HDFS主要负责数据的存储和管理,可以将大数据集分成多个数据块,并将这些数据块分配到不同的计算节点上存储,提高数据的可靠性和处理效率。
MapReduce:MapReduce是Hadoop的分布式计算框架,它提供了一种简单的编程模型,通过将大规模数据分解成多个小任务并行处理,可以大大提高数据处理的效率。
YARN:Yet Another Resource Negotiator(YARN)是Hadoop的资源管理器,它负责为多个应用程序分配和管理计算资源,可以有效地提高计算资源的利用率。
hadoop信息安全
1、先下手为强!在规划部署阶段就确定数据的隐私保护策略,最好是在将数据放入到Hadoop之前就确定好保护策略。
2、确定哪些数据属于企业的敏感数据,根据公司的隐私保护政策,以及相关的行业法规和政府规章来综合确定。
3、及时发现敏感数据是否暴露在外,或者是否导入到Hadoop中。
4、搜集信息并决定是否暴露出安全风险。
5、确定商业分析是否需要访问真实数据,或者确定是否可以使用这些敏感数据。然后,选择合适的加密技术。如果有任何疑问,对其进行加密隐藏处理,同时提供最安全的加密技术和灵活的应对策略,以适应未来需求的发展。
6、确保数据保护方案同时采用了隐藏和加密技术,尤其是如果我们需要将敏感数据在Hadoop中保持独立的话。