查看: 10236| 回复: 10
跳转到指定楼层
上一主题 下一主题
收起左侧

[找工就业] Distributed System的几篇经典paper,读一下对系统设计面试有用。

   
全局:

2020(10-12月)-CS硕士+5-10年 | 猎头|BayArea湾区 管理岗位全职@na

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x

1. The Google File System: 这是分布式文件系统领域划时代意义的论文,文中的多副本机制、控制流与数据流隔离和追加写模式等概念几乎成为了分布式文件系统领域的标准,其影响之深远通过其5000+的引用就可见一斑了,HDFS就是GFS的模仿之作;

2. Dynamo: Amazon’s Highly Available Key-value Store:Amazon的分布式NoSQL数据库,意义相当于BigTable对于Google,对应的开源系统为Cassandra。我觉得这篇文章对找工面试有极大的作用。上面考虑了设计一个分布式系统的方方面面。很多面试的时候可以拿来直接用。. From 1point 3acres bbs

3. Bigtable: A Distributed Storage System for Structured Data:Google在NoSQL领域的分布式表格系统,LSM树的最好使用范例,广泛使用到了网页索引存储、YouTube数据管理等业务,Hadoop对应的开源系统叫HBase;. From 1point 3acres bbs

4. The Chubby lock service for loosely-coupled distributed systems:Google的分布式锁服务,基于Paxos协议,这篇文章相比于前三篇可能知道的人就少了,但是其对应的开源系统zookeeper几乎是每个后端同学都接触过,其影响力其实不亚于前三篇;
. Waral dи,
5. Scaling Distributed Machine Learning with the Parameter Server:百度少帅李沐大作,目前大规模分布式学习各家公司主要都是使用ps,ps具备良好的可扩展性,使得大数据时代的大规模分布式学习成为可能,包括Google的深度学习模型也是通过ps训练实现,是目前最流行的分布式学习框架,豆瓣的开源系统paracell也是ps的一个实现;

6. Spanner: Google's Globally-Distributed Database:这是第一个全球意义上的分布式数据库,Google的出品。其中介绍了很多一致性方面的设计考虑,简单起见,还采用了GPS和原子钟确保时间最大误差在20ns以内,保证了事务的时间序,同样在分布式系统方面具有很强的借鉴意义。

. 1point 3 acres. Waral dи,

..

. .и
补充内容 (2020-11-15 14:08):
补充下,stanford cs244b 网站有大部分的paper http://www.scs.stanford.edu/14au-cs244b/sched/。 也有2020年度的课程,可惜video不开放。

评分

参与人数 49大米 +70 收起 理由
xiao90537 + 1 赞一个!
Husky_wang + 3 给你点个赞!
siyu111 + 1 赞一个
thomaszero + 2 给你点个赞!
pikailun + 1 赞一个

查看全部评分


上一篇:求问sde2亚马逊电面会考系统设计吗?
下一篇:亚马逊实习和全职的选择问题

本帖被以下淘专辑推荐:

推荐
Euler57721 2020-11-16 01:11:39 | 只看该作者
全局:
本帖最后由 Euler57721 于 2020-11-16 01:54 编辑 . check 1point3acres for more.

这些paper固然经典,但都已经很老了,Spanner也已经是8年前published,推荐关注我司系统的一些新动向:
Borg: the Next Generation (2020)
Spanner: Becoming a SQL System (2017). Waral dи,
Sundial: Fault-tolerant Clock Synchronization for Datacenters (2020). check 1point3acres for more.
Cache-aware load balancing of data center applications (2019)
Software-defined far memory in warehouse-scale computers (2019)

评分

参与人数 15大米 +18 收起 理由
yanjinbin + 2 给你点个赞!
thomaszero + 2 给你点个赞!
__ack + 1 给你点个赞!
surpicture + 2 给你点个赞!
pikailun + 1 赞一个

查看全部评分

回复

使用道具 举报

全局:
这几篇选的不错,云计算课上有讲
回复

使用道具 举报

推荐
supergirls 2020-11-15 23:59:13 | 只看该作者
全局:
好文好文,马一个
回复

使用道具 举报

🔗
xchuang916 2020-11-15 12:17:45 | 只看该作者
全局:
马来人报道

评分

参与人数 1大米 +1 收起 理由
lorixx + 1 赞一个

查看全部评分

回复

使用道具 举报

🔗
 楼主| flyingcat2020 2020-11-15 17:02:50 | 只看该作者
全局:
如果觉得有用, 可以加米么? :) 新人好多帖子看不到。。

评分

参与人数 3大米 +7 收起 理由
沽名钓誉 + 3 给你点个赞!
casco + 3 给你点个赞!
desperatelife + 1 赞一个

查看全部评分

回复

使用道具 举报

全局:
关注一下 有空拜读
回复

使用道具 举报

全局:
谢谢!mark下
回复

使用道具 举报

全局:
谢谢分享 mark下
回复

使用道具 举报

🔗
Absinthe1995 2021-5-18 23:37:56 | 只看该作者
全局:
mark一下看
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表