加拿大毒烟来袭!用这个神器护体! 点击查看详情
查看: 34452| 回复: 39
收起左侧

[经验总结] system design神课MIT-6.824总结

    |只看干货
guzhiyan | 显示全部楼层 |阅读模式
本楼: 👍   99% (147)
 
 
0% (1)   👎
全局: 👍   98% (402)
 
 
1% (7)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
本帖最后由 guzhiyan 于 2023-3-24 23:05 编辑

学习系统设计的时候大家都在强推DDIA,但我认为MIT的分布式系统课比DDIA案例更具体,更能真正提升自己并且修炼内功。在面试的时候也更加言之有物。如果不是紧急准备面试,有时间还是先看完MIT-6.824再看DDIA。看课时,建议先看note,尤其是note的介绍和总结,再看论文,建议跳过论文前面的介绍和后面的实验,最后再听课,课里同学当堂提出的问题也非常有意思。
另外推荐看期中考,期末考的往年题,每题对应一篇 paper应用时可能遇到的问题。. 1point 3 acres
下面推荐的课里,Dynamo和BitTorrent 是18年的课程里的,那会儿没有视频。其他的都是2022年的课,YouTube上是视频是全的。

课程链接:http://nil.csail.mit.edu/6.824/2022/schedule.html
顺便贴一下看paper的时候做的笔记:http://xhslink.com/YN0ioo

推荐看的课(paper):
MapReduce:分布式计算的基础,也是第一个课程项目的内容
Spark:MapReduce的Iterative版
RAFT:consensu algorithm,是paxos的易懂版,让replication node达成读写一致
GFS:分布式文件系统,侧重超大文件的存储和读取
Zookeeper:有点像分布式文件系统,但一般存的是小的config文件,读远多于写
Spanner(谷歌):支持geo-replication的分布式数据库,用two-phase commit 和two-phase locking写,在就近replica读,用true  timer黑科技保证consistency。
MemCache(脸书):支持geo-replication的分布式缓存,由于读远多余写,让所有写在primary node完成保证consistency,在就近replica读。
Dynamo(亚马逊):支持geo-replication的分布式key-value数据库,用consistency hash让负载均衡,支持高可用,需要qourum:W+R>N,用vector clock解决conflict。
Bitcoin:去中心化,解决拜占庭问题,有conflict时,用fork+区块链记录唯一总账解决conflict,但是需要挖矿时间
BitTorrent:去中心化存储,让每个用户都在consistent hash上,前人下载越多,后人下载越容易。

下面是不那么推荐的,可能更多是科研方面在用,学术价值高于实用价值
Fault Tolerance VM:在状态机IO层面同步复制,生成备用VM
Frangipani:把remote  filesystem缓存一部分到本地filesystem
FaRM:借助RDMA等快速读的黑科技实现乐观锁的分布式系统. From 1point 3acres bbs
SUNDR:在peer遇到conflict时,通过fork解决安全问题

评分

参与人数 74大米 +100 收起 理由
huijiayou + 1 赞一个
iamuglypig + 1 赞一个
kamarkaka + 1 赞一个
戮七夏 + 1 赞一个
小小瓦力 + 1 赞一个

查看全部评分


上一篇:找人一起mock interview,东岸时间
下一篇:25岁多伦多转码 已自学了cs61a&b, 下一步该干甚麽好?

本帖被以下淘专辑推荐:

零点之魂 2023-4-4 00:41:02 | 显示全部楼层
本楼: 👍   91% (11)
 
 
8% (1)   👎
全局: 👍   91% (21)
 
 
8% (2)    👎
LarryPorter 发表于 2023-3-28 12:56
这么卷的吗?读懂这些不去读个system的phd真是可惜了

就看这个就想读system phd怕是有点天真了。。。
回复

使用道具 举报

akdhfikbk 2023-3-29 03:34:20 来自APP | 显示全部楼层
本楼: 👍   91% (11)
 
 
8% (1)   👎
全局: 👍   94% (3473)
 
 
5% (191)    👎
看到内容就被劝退了…….1point3acres
面试不考这些,如果不是用于面试的话还是算了
advertisement
回复

使用道具 举报

本楼: 👍   83% (5)
 
 
16% (1)   👎
全局: 👍   94% (354)
 
 
5% (19)    👎
别的学校不清楚,6.824在Columbia对应的课号是4113,只是个本科高年级以及grad level的普通课程,不是什么很艰深困难的topic…和system PhD差的远了
回复

使用道具 举报

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (1)
 
 
0% (0)    👎
感谢分享!楼主做lab了吗?
回复

使用道具 举报

 楼主| guzhiyan 2023-3-25 11:28:50 来自APP | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (402)
 
 
1% (7)    👎
stevegocoding 发表于 2023-03-24 20:22:34
感谢分享!楼主做lab了吗?
做到第二个了 还木有做完
回复

使用道具 举报

greatrita 2023-3-25 13:53:30 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   95% (47)
 
 
4% (2)    👎
哈 我觉得 memcache 的 paper 非常好
回复

使用道具 举报

Littleblue 2023-3-25 14:07:48 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   96% (272)
 
 
3% (11)    👎
想问一下 针对这个“建议先看note,尤其是note的介绍和总结”, 这是指比如 “LEC 1: Introduction, video” 里面的introduction么 就是video前面的超链接
回复

使用道具 举报

 楼主| guzhiyan 2023-3-25 20:21:00 来自APP | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (402)
 
 
1% (7)    👎
Littleblue 发表于 2023-03-24 23:07:48
想问一下 针对这个“建议先看note,尤其是note的介绍和总结”, 这是指比如 “LEC 1: Introduction, video” 里面的introduction么 就是video前面的超链接
是的是的,那个链接点进去,前面一部分是这门课的introduction,后面就是MapReduce overview。
回复

使用道具 举报

Cinny080808 2023-3-26 00:08:15 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (12)
 
 
0% (0)    👎
感谢LZ分享!
回复

使用道具 举报

tentenymy 2023-3-28 07:55:38 来自APP | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   97% (2994)
 
 
2% (75)    👎
mark一下,不知道有没有人组队学。一个人好难做到。佩服lz
回复

使用道具 举报

charlenechloe2 2023-3-28 08:13:46 | 显示全部楼层
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (4)
 
 
0% (0)    👎
这个需要有什么pre-requisite吗? 刚工作一两年的上会不会很吃力?
回复

使用道具 举报

 楼主| guzhiyan 2023-3-28 09:42:39 来自APP | 显示全部楼层
本楼: 👍   100% (4)
 
 
0% (0)   👎
全局: 👍   98% (402)
 
 
1% (7)    👎
charlenechloe2 发表于 2023-03-27 17:13:46. check 1point3acres for more.
这个需要有什么pre-requisite吗? 刚工作一两年的上会不会很吃力?
我觉得可能多少需要一些system的基础知识,比如知道cache,concurrency这些。 可以很快的翻一翻CMU15213 里的cache memory, system level IO, concurrent programming 和synchronization 这几章,直接看PPT就好
已经工作一两年的话应该可以直接上手
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表