云计算与大数据到底有和关联？

关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。

云计算是基础，没有云计算，无法实现大数据存储与计算。

大数据是应用，没有大数据，云计算就缺少了目标与价值。

一、云计算与大数据具体关系详解

如果有人只谈人工智能，而不谈云计算与大数据，要不是技术骗子、要不是不懂装懂的傻子。

简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切，但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然，如果解释更形象一点的话，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化后在进行分配使用。

可以说，大数据相当于海量数据的“数据库”，通观大数据领域的发展我们也可以看出，当前的大数据发展一直在向着近似于传统数据库体验的方向发展，一句话就是，传统数据库给大数据的发展提供了足够大的空间。

大数据的总体架构包括三层：数据存储，数据处理和数据分析。数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。

而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三者相互配合，这让大数据产生最终价值。 不看现在云计算发展情况，未来的趋势是：云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话：“动一下鼠标就可以在妙极操作PB级别的数据”，确实让人兴奋不能止。

数据分布式

二、大数据架构

1、数据存储层

数据有很多分法，有结构化，半结构化，非结构化;也有元数据，主数据，业务数据;还可以分为GIS，视频，文件，语音，业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求，因此在RDBMS基础上增加了两种类型，一种是hdfs可以直接应用于非结构化文件存储，一种是nosql类数据库，可以应用于结构化和半结构化数据存储。

2、数据处理层

数据处理层核心解决问题在于数据存储出现分布式后带来的数据处理上的复杂度，海量存储后带来了数据处理上的时效性要求，这些都是数据处理层要解决的问题。

3、数据分析层

最后回到分析层，分析层重点是真正挖掘大数据的价值所在，而价值的挖掘核心又在于数据分析和挖掘。那么数据分析层核心仍然在于传统的BI分析的内容。包括数据的维度分析，数据的切片，数据的上钻和下钻，cube等。

数据分析我只关注两个内容，一个就是传统数据仓库下的数据建模，在该数据模型下需要支持上面各种分析方法和分析策略;其次是根据业务目标和业务需求建立的KPI指标体系，对应指标体系的分析模型和分析方法。解决这两个问题基本解决数据分析的问题。

三、借助云计算和大数据我们可以进行海量的数据分析

1、传统数据分析的弊端

从数据中洞察商机、提取价值，并不是一件容易的事，跟企业的数据、资源和人力有很大的关系。企业积累的原始数据，随着企业的发展和业务的增加，数据量持续增加，这增加了读取和处理数据的难度；由于各种原因，比如，人为的录入错误，系统出现异常，数据源异构等原因，导致企业的数据出现缺失、不一致、数据异常等问题，这些脏数据不仅会降低数据的质量，还会影响数据分析的结果。

2、云计算结合大数据分析的优势

云技术支持海量数据的存储。进入信息化时代之后，数据量在不断的增长，TB、PB级别的数据量已经司空见惯，这么大的数据量已经超出了单台小型服务器的处理上限，相应地，企业维护如此海量数据的成本也成指数级上升。企业应付数据量激增的传统的做法是采购大量的硬件设备，招聘更多的专业技术人员，搭建网络系统以支持数据的存储和处理，这不仅会耗费企业巨大的财力、人力和时间，还会增加系统维护的成本，在短期内给企业造成很大的经济负担。而云计算天生具备大数据的存储能力，或者说，云计算就是为了处理大数据而诞生的。当遇到数据量激增时，企业使用云计算的弹性扩展服务，可以按需扩展系统的数据存储能力。

四、大数据未来趋势

趋势一：数据的资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

趋势三：科学理论的突破

随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。