大数据技术目前已日趋成熟,日后会在系统研发、大数据应用开发和大数据分析方向上分类更加的精确和细致。
总的来说大数据有5个部分。数据采集,数据存储,数据清洗,数据挖掘,数据可视化。数据采集有硬件采集,如OBD,有软件采集,如滴滴,淘宝。数据存储就包括NOSQL,hadoop等等。数据清洗包括语议分析,流媒体格式化等等。数据挖掘包括关联分析,相似度分析,距离分析,聚类分析等等。数据可视化就是WEB的了。
大数据技术是指在海量量的数据中提取到对自身有用的数据,加以分析和处理,其现阶段的主要特点有主要是4个V:
Volume——数据体量巨大;
Variety——数据种类繁多;
Value——价值密度低;
Velocity——处理速度快;
由系统或人工抓取数据,将其收集、整合、统计,这些数据的集中指向性非常的强,在反馈的过程中已经指向了一个明确的目标。
这方面的例子也非常多,大家在浏览百度网页时,当你关注了几次某个明星的消息,在之后的浏览过程中会集中出现这个明星的消息推送。在逛淘宝时,当你关注某种类型的产品超过一定次数,页面便会集中推送此种产品的相关种类,及周边给用户。
进入互联网时代,大数据产业已经在各个领域都得到了广泛的应用,而且就其目前的发展情况来看,大数据产业具有十分良好的发展前景。
大数据技术是一种新一代技术和构架,它以成本较低、以快速的采集、处理和分析技术,从各种超大规模的数据中提取价值。大数据技术不断涌现和发展,让我们处理海量数据更加容易、更加便宜和迅速,成为利用数据的好助手,甚至可以改变许多行业的商业模式。
数据量增长速度极快,用常规的数据工具无法在一定的时间内进行采集、处理、存储和计算的数据集合。
2015 年,全球大数据产业市场规模为1403 亿美元,预计到2020 年将达到10270 亿美元,2014-2020 年间CAGR 高达49%;
2015 年,我国大数据产业市场规模为1692 亿元,预计到2020 年将达到13626 亿元,2014-2020 年间CAGR