大数据平台架构如何进行包括哪些方面

Question

如题所述

Answer 1

【导语】大数据平台将互联网使用和大数据产品整合起来，将实时数据和离线数据打通，使数据能够实现更大规模的相关核算，挖掘出数据更大的价值，然后实现数据驱动事务。那么，大数据平台架构如何进行？包括哪些方面呢？
1. 事务使用：这指的是数据的收集方式。互联网收集数据相对简单，通过网页、App等就能收集到数据，比如许多银行现在都有自己的App。更深层次的还能收集到用户的行为数据，能切分出许多维度，进行细致的分析。但对于涉及线下的行业，数据收集就需要借助各类事务体系去完成。
2. 数据集成：这实际上是指ETL（Extract, Transform, Load），即用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。而Kettle只是ETL中的一个工具。
3. 数据存储：这指的是数据仓库的建设。简单来说，可以分为事务数据层（Data Warehouse, DW）、指标层、维度层、汇总层（Data Warehouse Appliance, DWA）。
4. 数据共享层：这表示在数据仓库与事务系统间提供数据共享服务。Web Service和Web API是其中代表性的连接方式，还有一些其他连接方法，可以根据自己的情况来确定。
5. 数据分析层：分析函数相对容易理解，就是各种数学函数，比如K均值分析、聚类、RMF模型等。
6. 数据展现：结果以何种方式呈现，这实际上是指数据可视化。这里推荐使用敏捷BI，与传统BI不同，它能通过简单的拖拽生成报表，学习成本较低。
7. 数据访问：这比较简单，看你是通过何种方式查看这些数据。图中示例的是基于B/S架构，最终的可视化结果是通过浏览器访问的。
关于大数据平台架构的内容，就为大家介绍到这里。未来，大数据对社会发展的重大影响必将会决定未来的发展趋势，所以有意向的考生要抓紧时间学习起来了。