数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
数据存取：关系数据库、NOSQL、SQL等。
基础架构：云存储、分布式文件存储等。
数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
数据挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)
模型预测：预测模型、机器学习、建模仿真。
结果呈现：云计算、标签云、关系图等。
要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。
第一，数据体量巨大。从TB级别，跃升到PB级别。
第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。
第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。
大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量
洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。
google流感趋势(Google Flu Trends)利用搜索关键词预测禽流感的散布。
统计学家内特.西尔弗(Nate Silver)利用大数据预测2012美国选举结果。
麻省理工学院利用手机定位数据和交通数据建立城市规划。
梅西百货的实时定价机制，根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价。
……
种种的案例实在是太多，或许我们永远说不完一样，所以我们就来看一看大数据被科学运用的一个经典案例：
“啤酒与尿布”的故事产生于20世纪90年代的美国沃尔玛超市中，沃尔玛的超市管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销售现象引起了管理人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上。
如果这个年轻的父亲在卖场只能买到两件商品之一，则他很有可能会放弃购物而到另一家商店，直到可以一次同时买到啤酒与尿布为止。沃尔玛发现了这一独特的现象，开始在卖场尝试将啤酒与尿布摆放在相同的区域，让年轻的父亲可以同时找到这两件商品，并很快地完成购物;而沃尔玛超市也可以让这些客户一次购买两件商品、而不是一件，从而获得了很好的商品销售收入，这就是“啤酒与尿布” 故事的由来。
当然“啤酒与尿布”的故事必须具有技术方面的支持。1993年美国学者Agrawal提出通过分析购物篮中的商品集合，从而找出商品之间关联关系的关联算法，并根据商品之间的关系，找出客户的购买行为。艾格拉沃从数学及计算机算法角度提 出了商品关联关系的计算方法——Aprior算法。沃尔玛从上个世纪 90 年代尝试将 Aprior 算法引入到 POS机数据分析中，并获得了成功，于是产生了“啤酒与尿布”的故事。
其实大数据，其影响除了以上列举的方面外，它同时也能在经济、政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。
啤酒与尿布
全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒＋尿布”的数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道。
大数据分析行业是最近这几年比较火，比较高薪的行业了，很多人都想分一杯羹，经常同学问我什么是大数据分析?什么是python?这些能学到什么技能?以后能学到什么知识?有太多的疑问，小编姐姐今天就简单写出来出来，分享给大家!
很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。
大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V， 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、价值(Value)。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。大数据分析是什么
大数据分析师有两种岗位定位：
1、大数据科学家，Data Scientist，DS
2、大数据工程师，Data Engineer，DE
从这两个单词里，你就能看出端倪了，后面小编姐姐会详细的讲解，这两者的区别，以及工作内容划分。今天我们先初步认识一下大数据分析是什么?
在不同行业中，那些专门从事行业数据的搜集、对收集的数据进行整理、对整理的数据进行深度分析，并依据数据分析结果做出行业研究、评估和预测的工作被称为数据分析。如果是熟悉行业知识、公司业务及流程，对自己的工作内容有一定的了解，比如熟悉行业认知和公司业务背景，该工作人员分析结果就会有很大的使用价值。
首先我们要列出搭建数据分析框架的要求，比如确定分析思路就需要用到营销、管理等理论知识;另一方面是针对数据分析结论提出有指导意义的分析建议。能够掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工作中，对于开展数据分析起着至关重要的作用。大数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对越来越庞大的数据，必须依靠强大的数据分析工具帮我们完成数据分析工作。
1、大数据分析可以让人们对数据产生更加优质的诠释，而具有预知意义的分析可以让分析员根据可视化分析和大数据分析后的结果做出一些预测性的推断。
2、大数据的分析与存储和数据的管理是一些数据分析层面的最佳实践。通过按部就班的流程和工具对数据进行分析可以保证一个预先定义好的高质量的分析结果。
3、不管使用者是数据分析领域中的专家，还是普通的用户，可作为数据分析工具的始终只能是数据可视化。可视化可以直观的展示数据，让数据自己表达，让客户得到理想的结果。
4、大数据分析已经不像前些年给人一种虚无缥缈的感觉，而当下最重要的是对大数据进行分析，只有经过分析的数据，才能对用户产生最重要的价值，越来越多人开始对什么是大数据分析产生联想，所以大数据的分析方式在整个IT领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。大数据分析12大就业方向
传统的数据分析就是在数据中寻找有价值的规律，这和现在的大数据在方向上是一致的。大数据具有“高维、海量、实时”的特点，就是说数据量大，数据源和数据的维度高，并且更新迅速的特点。