博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
浅析从存储的角度来分析大数据和云计算的区别
阅读量:2422 次
发布时间:2019-05-10

本文共 1114 字,大约阅读时间需要 3 分钟。

  有关于云计算之间的关系人们常会误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。

  虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。另外,如果做一个更形象的解释,云计算相当于我们的计算机和操作系统,将大量的硬件资源虚拟化之后再进行分配使用,在云计算领域目前的老大应该算是amazon,可以说为云计算提供了商业化的标准,另外值得关注的还有vmware(其实从这一点可以帮助你理解云计算和虚拟化的关系),开源的云平台最有活力的就是openstack了;

  大数据相当于海量数据的“数据库”,而且通观大数据领域的发展也能看出,当前的大数据处理一直在向着近似于传统数据库体验的方向发展,hadoop的产生使我们能够用普通机器建立稳定的处理tb级数据的集群,把传统而昂贵的并行计算等概念一下就拉到了我们的面前,但是其不适合人员使用,所以piglatin和hive出现了,为我们带来了类sql的操作,到这里操作方式像sql了,但是处理效率很慢,绝对和传统的数据库的处理效率有天壤之别,所以人们又在想怎样在大数据处理上不只是操作方式类sql,而处理速度也能“类sql”,google为我们带来了dremel/powerdrill等技术,cloudera(hadoop商业化最强的公司,hadoop之父cutting就在这里负责技术领导)的impala也出现了。

  整体来看,未来的趋势是,云计算作为计算资源的底层,支撑着上层的大数据处理,而大数据的发展趋势是,实时交互式的查询效率和分析能力,借用google一篇技术论文中的话,“动一下鼠标就可以在秒级操作pb级别的数据”难道不让人兴奋吗?

  在谈大数据的时候,首先谈到的就是大数据的4v特性,即类型复杂,海量,快速和价值。ibm原来谈大数据的时候谈3v,没有价值这个v。而实际我们来看4v更加恰当,价值才是大数据问题解决的最终目标,其它3v都是为价值目标服务。在有了4v的概念后,就很容易简化的来理解大数据的核心,即大数据的总体架构包括三层,数据存储,数据处理和数据分析。类型复杂和海量由数据存储层解决,快速和时效性要求由数据处理层解决,价值由数据分析层解决。

  数据先要通过存储层存储下来,然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合,让大数据最终产生价值。

转载于:https://my.oschina.net/u/1160813/blog/189233

你可能感兴趣的文章
MYSQL explain详解
查看>>
MySQL查询优化-explain
查看>>
Java 反射和动态代理真的没那么高深,一起来看看就知道了
查看>>
Lucky
查看>>
ERP100 論壇,ORACLE ERP
查看>>
ORA-600
查看>>
不止 5G 和鸿蒙,华为最新大招,扔出 AI 计算核弹
查看>>
【早报】做Java半年,挣的不如AI 1个月?第二句泪目..
查看>>
反转!2019程序员吸金榜来了,AI程序员刷爆了..
查看>>
学Python后到底能干什么?网友:我太难了
查看>>
华为、BAT力捧!程序员:我彻底慌了...
查看>>
刷爆了!BAT这场AI芯片之战,你更支持谁?
查看>>
定了!刚面完AI岗位,这些题全都考了!程序员:有黑幕!
查看>>
GitHub 热榜第一!这个 Python 项目超 8.4k 标星,网友:太实用!
查看>>
阿里云部署Django项目(nginx+uWSGI)
查看>>
程序员必看,这本深度学习宝典刷爆IT圈!
查看>>
python学习心得体会(一)
查看>>
程序员薅羊毛神器来了!
查看>>
自学 Python后,自己一个人可以通过此技能挣什么钱?
查看>>
Java三种面试者是面试官最讨厌的,见之即毙!
查看>>