抽签四年终于approved,说说这些年的经历

一亩三分地

 找回密码 注册账号

扫描二维码登录本站


码农求职神器Triplebyte
不用海投
内推多家公司面试

Total Comp Calculator
输入offer信息
系统自动计算每年收入

科技公司如何
用数据分析驱动产品开发
coupon code: 20%off 打八折

深入浅出AB Test
从入门到精通
coupon code: 20%off 打八折
游戏初创公司招聘工程师、UIUX Designer和游戏策划
坐标湾区
DreamCraft创始团队
招聘游戏开发工程师
查看: 2480|回复: 11
收起左侧

[学习资料] Distributed Systems in One Lesson By Tim Berglund

    [复制链接] |试试Instant~
我的人缘0

分享帖子到朋友圈
wbing520 发表于 2019-5-25 14:01:22 | 显示全部楼层 |阅读模式
本楼: 👍   100% (11)
 
 
0% (0)   👎
全局: 👍   97% (48)
 
 
2% (1)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
本帖最后由 14417335 于 2019-5-25 09:18 编辑

Distributed Systems in One Lesson By Tim Berglund


1. what is Distributed System?
A collection of independent computers that appear to its users as one computer. ---Andrew tannebaum
Three characteristics:
Operate concurrently/fail independently/Do not share a global clock.

Three Topics: Storage/Computation/Messaging

Storage:
Single - Master storage
        Read/Write
Replication.
    Sharding
        Consistent hashing

Consistency
R + W > N

CAP Theorem. hacker news
        Consistency
        Availability
        Partition Tolerance
Shared Writing project

Distributed Computation
MapReduce
        map: count words, word: number
        shuffle: move similar word together
        Reduce: add up the numbers
        
Hadoop:
        MapReduce API
        MapReduce job management
        Distributed FileSystem(HDFS)
        Enormous ecosystem
Spark:
        Scatter/gather paradigm(similar to MapReduce)
        More general data model(RDDs, Datasets)
        More general programming model(transform/action)
        Storage agnostic
Kakfa:
        Focuses on real-time analysis, not batch jobs
        Streams and streams only
        Except streams are also tables(sometimes)
        No cluster required

Messaging
        *Means of loosely coupling subsystems
        *Messages consumed by subscribers
        *Created by one or more producers
        *Organized into topics
        *Processed by brokers
        *Usually persistent over the short term
Messaging Problems
        *What if a topic gets too big for one computer?
        *not reliable enough
        *guarantee delivery?
Apache kafka

Definitions:
        Message: an immutable array of bytes
        Topic: a feed of messages
        Producer: a process that publishes messages to a topic
        Consumer: A single-threaded process that subscribe to a topic
        Broker: one of the servers that comprises a cluster.
Kafka(Trivial version)
        Topic partitioning.
Kafka(Interesting version)
  * Message bus
  * Turned events into rows-in-place
  * compute events
Without streams.

Lammda Architecture
        Long-term storage
        Batch processing
        Slow, complete
      
        Tempoarary queuing
    Stream processing
    Fast summaries
With streams



听课时候做的笔记,很有收获,和大家共享。 谢谢加米。        

        


        





评分

参与人数 25大米 +72 收起 理由
georgey + 2 谢谢分享!
jasminechen86 + 1 赞一个
vaporfraction + 3 很有用的信息!
Zia + 1 给你点个赞!
gerdo888 + 1 赞一个
ayuhime + 1 赞一个
michaelzju + 3 66666666666
deardeergogo + 1 赞一个
pointacr + 3 很有用的信息!
xiaoyao202304 + 1 赞一个

查看全部评分

我的人缘0
hotinherre 发表于 2019-5-26 13:48:22 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   95% (253)
 
 
4% (12)    👎
safari book 有这个教材的进阶版。
Distributed Systems in One Lesson, 但是每个component讲的都比较浅, 需要自己再做额外的学习。
回复

使用道具 举报

我的人缘0
 楼主| wbing520 发表于 2019-5-26 14:02:44 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   97% (48)
 
 
2% (1)    👎
hotinherre 发表于 2019-5-26 13:48
safari book 有这个教材的进阶版。
Distributed Systems in One Lesson, 但是每个component讲的都比较浅 ...

多谢,多谢。搜了下。在这里:https://player.oreilly.com/videos/9781491924914
回复

使用道具 举报

我的人缘0
Megan1129 发表于 2019-5-26 07:21:29 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (1)
 
 
0% (0)    👎
谢谢楼主分享这个视频,很有用!
回复

使用道具 举报

我的人缘0
 楼主| wbing520 发表于 2019-5-26 09:29:59 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   97% (48)
 
 
2% (1)    👎
Megan1129 发表于 2019-5-26 07:21
谢谢楼主分享这个视频,很有用!

哈哈,不客气。有用就好!
回复

使用道具 举报

我的人缘0
depth 发表于 2019-5-26 11:24:00 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   86% (26)
 
 
13% (4)    👎
Thanks for sharing
回复

使用道具 举报

我的人缘0
Fluoxe7ine 发表于 2019-5-26 14:14:34 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (5)
 
 
0% (0)    👎
多谢楼主,入门好资料
回复

使用道具 举报

我的人缘0
billy_hsieh 发表于 2019-5-26 20:55:13 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   0% (0)
 
 
0% (0)    👎
Thank you so much
回复

使用道具 举报

我的人缘0
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (54)
 
 
0% (0)    👎
不错啊 mark一下
回复

使用道具 举报

游客
请先登录
您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

提醒:发帖可以选择内容隐藏,部分板块支持匿名发帖。请认真读完以下全部说明:

■隐藏内容方法 - 不要多加空格: [hide=200]你想要隐藏的内容比如面经[/hide]
■意思是:用户积分低于200则看不到被隐藏的内容
■可以自行设置积分值,不建议太高(200以上太多人看不到),也不建议太低(那就没必要隐藏了)
■建议只隐藏关键内容,比如具体的面试题目、涉及隐私的信息,大部分内容没必要隐藏。
■微信/QQ/电子邮件等,为防止将来被骚扰甚至人肉,以论坛私信方式发给对方最安全。
■匿名发帖的板块和方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|小黑屋|一亩三分地

GMT+8, 2019-6-17 09:07

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

快速回复 返回顶部 返回列表