📣 独立日限时特惠: VIP通行证立减$68
查看: 3065| 回复: 2
跳转到指定楼层
上一主题 下一主题
收起左侧

[BigData] 求地里的各位大佬详解一下Hive,Hadoop和Spark之间的区别

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
第一次发这种问题贴,若板块不对,劳烦版主大大移动。如题,楼主对这三个东西一直特别的困惑。似乎都是分布式系统?但是楼主都没有真正用过这三个东西。楼主实习的时候在公司的大数据平台上写过Hive SQL,不过似乎也就是一个API把sql语言转化成了分布式处理而已?所以并不算是用了Hive吧?
至于Hadoop,公司里的同事似乎都不是特别青睐,说是Hadoop的MapReduce处理起来很慢?
Spark好像特别吃香,楼主自己学了一点点pyspark,也是云里雾里的,似乎就是处理的单元变成了弹性分布式数据集(是叫这个名字吧)?整体来讲,也是个分布式处理系统吧?Spark的一个优点貌似是可以online直接进行一些计算和操作,但Hadoop之类的只能offline,不知道是不是这样?
总之,楼主真的很好奇,希望把这三个东西从本质上搞清楚,请地里的各位大神帮忙解答一下,最好再结合一下自己工作中的实际场景说一说具体哪个更适用自己的工作内容?提前谢谢各位了!


评分

参与人数 2大米 +6 收起 理由
xhdt + 1 赞一个
14417335 + 5 给你点个赞!

查看全部评分


上一篇:数组的公共数集
下一篇:求教codewars题目alculating-with-functions
推荐
youlegelin 2019-3-19 06:31:54 | 只看该作者
全局:
建议你看这个视频:https://www.youtube.com/watch?v=7ooZ4S7Ay6Y&t=17348s
从原理到使用到spark和hadoop的对比都有
相信看完以后你所有的问题都会迎刃而解

评分

参与人数 4大米 +12 收起 理由
ezMONEYsniper + 3 很有用的信息!
四月暮 + 3 给你点个赞!
14417335 + 5 很有用的信息!
xhdt + 1 赞一个

查看全部评分

回复

使用道具 举报

🔗
 楼主| ezMONEYsniper 2019-3-22 03:04:08 | 只看该作者
全局:
youlegelin 发表于 2019-3-19 06:31
建议你看这个视频:https://www.youtube.com/watch?v=7ooZ4S7Ay6Y&t=17348s
从原理到使用到spark和hadoop ...

谢谢提供信息,解决了很多疑惑
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表