📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 4104| 回复: 20
跳转到指定楼层
上一主题 下一主题
收起左侧

Big data programming

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
入门。
处理数据。(most:统计文件里面的信息)
从数据去找一些规律结论。(工具:hadoop,spark,storm,flink,tez,impala..)
数据处理一下出结果,不用交互,写一个程序逻辑-给一份输入数据,跑完逻辑后-output
large number?? 海量数据??----> core技术: large data storage and computing
data storage: 分布式: 文件布置一个电脑而是分散的,在很多机器都在运行计算。一人负责某部分
data computing :分布式:横跨很多机器。复杂度。
存储和运算都有成熟的框架来用。学习这些框架。


存储框架:
HDFS----文件存储系统 文件
HBASE--- 分布式数据库系统(区别:表:增删改查(在HDFS文件系统再分装),整齐的方便,文件:难找)SQL查询语法。
KAFKA--分布式消息缓存系统 消息(固定格式:最后也放到文件里面去)(实时流式数据处理场景:spark 中应用广泛)


计算框架:(核心问题,在帮用户处理逻辑(最高10个分数)在很多机器上面计算(加快处理速度)
Mapreduce--Hadoop中的运算框架;离线批处理:数据是静态(不是一遍生成一边处理)
Spark--本身就是运算框架(读数据:可以读HDFS里数据,HBASE,KAFKA有存储系统的访问接口就可以读里面的data来运算了)(要deal:如何将用户写的逻辑在很多机器上并发运行)离线批处理/实时流式计算--future,是 mapreduce的再封装
Storm---实时流式计算(水流一样遍生成一边处理)可以被spark替代


辅助类的工具(解放大数据工程师的一些繁琐工作):
FLUME----数据采集(从数据源自动采集过来)
SQoop----数据迁移(信息不全,ex:不知性别年纪多数据的分析维度更高嘿嘿):
从数据库data拉到大数据系统--写程序 用JDPC去访问取数据,用Hadoop的数据访问接口 把data放到 HDFSbase里面去。

最后hadoop分析出的结果(最爱的几部电影): output result: 文件形式 不方便人去看---》弄到mysql关系型数据库去--》弄成图表(程序:一边在hadoop里面读数据,一边用JDPC往mysql写): sqoop程序。

J      HIVE 数据仓库工具(可以接受sql,翻译成mapreduce,或者spark程序运行。 存需要分析的数据,在里面写sql(翻译成map可以分布运行了) 语句直接分析。
Elasttic search --分布式的搜索引擎。

评分

参与人数 6大米 +20 收起 理由
blgt + 3 给你点个赞!
mk48 + 3 给你点个赞!
Husky_wang + 3 厉害咯
s961206 + 3 <font style="vertical-align: inh
debuger + 5 给你点个赞!

查看全部评分


上一篇:寻找online学Operating System的小伙伴
下一篇:cs61a学习记录
推荐
 楼主| 宋龙龙96 2019-2-26 06:56:25 | 只看该作者
全局:
J Map Reduce Problems◎★Lû ]   khuen


对未来的最大尊重便是不抱任何期待FJKLC6unhqtwxAop√∵ ←→ ←→    Google, linkedin,Apple

    多台机器并行处理数据
      Count word frequency
      build inverted Index

(gfs存储,Bigtable 数据库   F  mapreduce计算(count))

word-count google interviewer: count the world

(google 统计所有网站的词频)



method one : for 循环 伪代码
   HashMap<string, interger>(key,value)wordcount
for each word in webpage:
      wordcount[word]++
O(n) -->how to improve O ?? F多台机器并行

土方法二:多台机器for循环(并行处理)

                    machine1
一篇文章                           machine3(combine)→a[3]b[4]c[]d[]


                    machine2


方法三:
并行也能汇总??:Map分(机器1,2只负责把文章拆分成一个一个的单词)Reduce合(机器3,4负责一部分word的合并)
Map: 把文章拆分单词的过程
machine1: a[2]b[1]c[1]d[2], machine2: a[1]b[2]c[2]d[1]
Reduce: 把单词次数合并在一起的过程
machine3:a[2+1]b[1,2]
machine4:c[2,1]d[1,2]

存在的问题
谁负责把文章拆分成一小段一小段?
中间传输整理谁来负责?比如怎么知道把a放在机器3还是机器4?依靠MapReduce 的框架实现。

Map Reduce Steps

Map Reduce 是一套实现分布式运算的框架。
step1 input(0:abb, 1机:ab
step2 Split(Master机器来处理)Master(<=i的单词去Machine3,>=3的单词M4) to slave M1:0:abacdd
step3 Map 实现怎么把文章切分成单词 a,1 b,1,a,1,c,1,d,1,d,1
step4 传输整理
step5 Reduce 实现怎么把单词统一在一起
step6 Output(文件)
word count:
Ahash table 数据结构大(data多) ∴ 要count one transfer one
∴ Mapreduce hlp us to set up frame , we just need to realize Map Reduce to solve logic compute question.
代码: map funch and reduce function
reduce的输入=map的输出key(word)。key word value 次数。



Map Reduce 函数接口是什么?
他们的input  and output must be the form of Key Value
Map 输入:key文章存储地址。 Value: 文章内容
reduce输入:Key:map输出的key。Value: map输出的value
36.代码
Map Reduce 是一套实现分布式运算的框架。
step1 input001设定好输入文件(file是googel的还是facebook)
step2 Split002(Master机=split system hlp us to divvy input up to each machine.
step3 Map 实现代码 M1M2 use map function to
step4 传输整理 系统帮我们整理(1单词排序2分类*01 a:1 b:1a:1a;1...-->02快速排序a:1a:1a:1b:1....)
(实际:map003输出前: map上面的partition(aab//cdd)and sort004)
step5 Reduce 实现代码 M3M4(fetch005- reduce 主动向partition and sort要的)(merge sort006a,[1,1,1]b,[1,1,1]) reduce007a,[3]b,[3]
step6 Output 设定输出文件

56 pics

有奖问答:
Q1:how much machine google will use?
10PB data.  1000 map,1000 reduce
Q2: about machine more is better ?
advantage: 机器越多,每台机器处理的就越少,总处理数据就越快。
cons:  longer time to start your machines and uploading your code is also need time.
master- slave model. much machines means that master need to manage a lot of machines.
start, preprocessing time cusuming.
Q3; if not considering start time, more reduce machine means less time to process?
  Key 的数目就是reduce 的上限。
* stop word: I you the a will not be processed

mapreduce, data too big.



回复

使用道具 举报

推荐
 楼主| 宋龙龙96 2019-3-6 09:23:15 | 只看该作者
全局:

threads

Threads are used to execute code concurrently
▸ Threads contains resources that they are shared
▸ Synchronization help guarantee:
      ▸ Correct ordering▸ Visibility▸ Data consistency
▸ Problems?
   ▸ Hard to solve deadlocks▸ Hard to maintain data consistency▸ Hard to ensure liveness
dead lock: T1&T2


T1-----> A
lock        ^
V           lock
B<-------T2

T1  inti
1~10
T2 read i
sum=+i
Producer-Consumer example: 每次计算不一样。
Setup– A shared memory buffer– Producer puts objects into the buffer– Consumer reads objects from the buffer• ProducerConsumerTest.java, UnsyncBuffer.java• Problem:– producer can over-produce, consumer can over-consume (example of race condition)– Need to synchronize (coordinate) the processes

Disadvantages of synchronization
• Disadvantages:– Synchronization is error-prone– Synchronization blocks threads and takes time– Improper synchronization results in deadlocks– Creating a thread is not a low-overhead operation– Too many threads slow down the system

empty lock
dequeqe :run
59:
java 's methods have a lot of distan.
share variable(why: we share a lock)
An Akka/Scala concurrent solution
Master actor:  difeerent 听录音:


• Initiates the process• sends tasks to worker actors• collects the total size (sum them up)• keeps track of pending tasks
-----------------------------------------------------
Q8: scalaa 10 examples  three schudling
sLide 80%
coding
why we need move r data  
map. reduce physical machine .  ,,,,听录音

design a map -reduce . write 伪代码+描述去解释查 slides. [give your design]
map1 produce XX map2 need to use them

Q8 read some code( understand code)

why schduling ? T/false
round-robin vs
single process

STF is optimal!有简单计算。看那页PPT


capacity scheduler:
Q1 80%
q1 20% soft limit


domimt one question from this.
-------------
scala froM one of example  5%
try to fix it  let me know what does the progam do


Dear professor Ying Mao,


I sent a lab missing some part. My teammate Shuyan Liu







回复

使用道具 举报

推荐
 楼主| 宋龙龙96 2019-1-29 21:14:46 | 只看该作者
全局:
hadoop :
工作机制介绍~~~
3个核心core组件:
分布式文件系统:HDFS--- 实现将文件分布式存储在很多的服务器上
分布式运算编程框架:Mapreduce---实现在很多机器上分布式并行运算
分布式资源调度平台:yarn---帮用户调度大量的mapreduce程序,并合理分配运算资源。



HDFS 整体运行机制


hdfs : 分布式文件系统(=软件-功能:帮用户管理文件(在linux服务器上)

路径:
顶层目录:/
   子文件夹:/data/2017-09-06/access.dat
                   /jdk_1.8.0tar.gz(压缩也可以)
                  /log
linux服务器1:data node /root/dfsdata/BlK(128/520MB_239001
                  2:                                                            2
                  3:                                                            3
内部是有很多linux 服务器的,但是我们看到目录就可以操作文件(用户-->客户端。路径。(用户不care怎么分布放的只关心它在HDFS哪个目录下,取也是指定路径)(系统知道文件在哪个linux服务器 然后给你拼凑起来提给你)
hdfs 有着文件系统共同的特征:
1 有目录结构,顶层目录是:/
2系统中存放的就是文件







回复

使用道具 举报

🔗
 楼主| 宋龙龙96 2019-1-29 05:53:53 | 只看该作者
全局:
数据处理的最典型应用: 公司的产品运营情况分析。

电商推荐系统:基于海量浏览行为,购物行为数据,进行大量的算法模型的运算。得出各类推荐结论,以供电商网页为用户进行商品推荐。
精准广告推送系统:基于海量的互联网用户的各类数据,统计分析,进行用户画像(得到用户各种属性标签)然后可以为广告进行针对性的广告投放。





回复

使用道具 举报

🔗
 楼主| 宋龙龙96 2019-1-30 05:45:16 | 只看该作者
全局:
https://wdxtub.com/interview/index.html

客户端写数据到HDFS的流程
HDFS write data:
1.客户端机器:
本地文件输入流
2.Namenode:
3.data node1234

1 request: 要写文件/aa/jdk.tgz 1->2
2告知可以写 2->1
3 请求写入第一个block 1->2
4 返回3个Datanode主机[Dn01,Dn02,DN03]
5 挑选DN1,请求建立传输数据的连接1-->2
6 请求建立数据传输链路 3 dn1->dn2
7 请求建立数据传输链路 dn2-->dn3
8 响应  dn3-->dn2
9 响应 dn2-->dn1
10 响应 dn1-->1(

11 网络输出流 1-->dn1fenzhi:本地文件输出流:BLK_0101 -->dn2 网络输入流fenzhi:本地文件输出流:BLK_0101-->dn2 网络输出流-->dn3 网络输入流-->本地文件输出流 dn3 --> BLK_0101

12 重复步骤3-11 来传输下一个BLK
13 数据全部写完吼,告知NAMENODE
14 NAMENODE会记录元数据
---------------------------

回复

使用道具 举报

🔗
 楼主| 宋龙龙96 2019-2-6 08:25:25 | 只看该作者
全局:
您好!
本帖隐藏的内容需要积分高于 200 才可浏览
您当前积分为 0。
使用VIP即刻解锁阅读权限或查看其他获取积分的方式
游客,您好!
本帖隐藏的内容需要积分高于 200 才可浏览
您当前积分为 0。
VIP即刻解锁阅读权限 或 查看其他获取积分的方式
Popular Interview Questions from Top Companies


回复

使用道具 举报

🔗
s961206 2019-2-26 07:12:36 | 只看该作者
全局:
感謝分享 希望知道更多
回复

使用道具 举报

🔗
 楼主| 宋龙龙96 2019-2-26 07:41:26 | 只看该作者
全局:
partition(aab//cdd)and sort(a,1 a,1 b,1//c,1 d,1 d,1)004分担了 006reduce的工作。
硬盘外排序:004和merge sort005(a,[1,1,1] b,[1,1,1]
1 input
2split
3map
step 4 partition sort
step 5 fetch+merge sort
4+5=>shuffle(像洗牌
6 reduce
7 output

倒排索引(google基石)inverted index
0--> harry potter(car river

1-->one piece(dear,
2--->wind(cat
正向索引,打开书                   car(0,2) river(0) dear(1) cat(1)


学map reduce 前:

input                                           Output
0:Deer Beer River                       Bear: 0,2
1: Car River                                 Car: 1,2
2: Deer Car Bear                         Deer:0,2

学map reduce 后:
interview Question:
Build inverted index with MapReduce?
1:18

1:24 解读代码
面试 接口会给,但中间逻辑是很重药的

Anagram- Map Reduce

1:29
map填什么很重要(=reduce) key:排好序的单词sorted word。value: 原单词word
图二的 Map 和 Reduce 中间是 shuffle过程 给你分类了(hash工作)













更多图片 小图 大图
组图打开中,请稍候......
回复

使用道具 举报

🔗
 楼主| 宋龙龙96 2019-2-26 08:22:13 | 只看该作者
全局:
Bonus: 1:40
design MapReduce
six steps:
input                                                     split           Map                             Reduce                Output
input File(disk1台Xmomeryx GFS√)
input data   
                                user  program写码来运行~~      

见图把
data big/ replicate/saving; GFS
★InPut output: ★data要放gfs(1.replicate 2 大 3 recovering)
中间数据: Local disk. 不需要gfs. 无关紧要的数据no need123
thinking :
√mapper first and then run reducer
√when run ,M /Reducer died . how to do??
重新分配一台机器做
(worker pool.  master send M6 to what should worder 1 who died do. and --> workerX)
√Reducer 一个机器Key数目多怎么办?
facebook. random(1-10)
代码:1;55
for(String word: tokens){
    if (word.equal("www.facebook.com")){
           word = word +random(1,10);
       }
√mapper/ reducer 不建议一台机器做。
更多图片 小图 大图
组图打开中,请稍候......
回复

使用道具 举报

🔗
卡卡的门 2019-2-26 15:55:10 | 只看该作者
本楼:
全局:
非常感谢!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表