一亩三分地

 找回密码 注册账号

扫描二维码登录本站

微信公众号
扫码关注公众号
留学申请号
扫码关注留学申请公众号
查看: 827|回复: 4
收起左侧

求brainstorm,一个机器学习系统设计面试题

[复制链接] |只看干货 |机器学习
我的人缘0

升级   0%


分享帖子到朋友圈
cjcj | 显示全部楼层 |阅读模式
本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   71% (5)
 
 
28% (2)    👎

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看,没有帐号?注册账号

x
楼主不久后要参加一个面试。recruiter大致讲了下ML系统设计的题目,叫我好好准备。题目是这样的,有很多的设备分散在不同的地区,然后这些设备会实时向数据库传输数据,我要做的是利用这些数据,设计一个outlier detection系统,及时找出异常的设备。数据传输实时并且量级非常大。但并没有说到底什么数据会被收集(这里应该是开放题,只要自己言之有理就行)

有没有小伙伴有类似的工作经验或者有好的paper推荐?准备突击一下。谢谢!
我的人缘0

升级   17.5%

solomonking 2020-11-3 21:40:40 | 显示全部楼层
本楼: 👍   100% (1)
 
 
0% (0)   👎
全局: 👍   90% (113)
 
 
9% (12)    👎
听上去倒是可以用Federated Learning,device上并不直接发送raw data 而是发送gradients一来数据传输的大小可控二来可以避免被attack。不过我猜也许人家想问的只是如何设计data pipeline另外device的computing power也是值得考虑的变量。
回复

使用道具 举报

我的人缘0

升级   83.5%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   100% (48)
 
 
0% (0)    👎
如果不要求设计收集什么数据、如何收集数据的环节,听起来有点像 outlier detection on streaming data. 楼主可以看看相关tutorial和paper
回复

使用道具 举报

地里的匿名用户
地里的匿名用户  发表于 2020-11-3 14:09:35
本楼: 👍   0% (0)
 
 
0% (0)   👎
可以看看https://github.com/yzhao062/pyod这个package找找思路. 比较重要的是和面试官的讨论吧, 比如可以问一下不同设备之间发回来的数据会不会差别很大 (有可能是因为工况不一样), 可能要每个设备单独做一个anomaly detection的模型, 这种情况怎么去scale系统来支持很多模型. 如果想联合分析所有设备, 那可以考虑每个设备收集一小段时间序列, 然后计算一些特征, 通过特征分布来找outlier. 这里面可以讨论一下不同设备上传数据有延迟怎么办, 关系大么, 等等.
这个问题没有标准答案, 我就提供一点分析思路...
回复

使用道具 举报

我的人缘0

升级   17%

本楼: 👍   0% (0)
 
 
0% (0)   👎
全局: 👍   98% (404)
 
 
1% (5)    👎
solomonking 发表于 2020-11-03 05:40:40
听上去倒是可以用Federated Learning,device上并不直接发送raw data 而是发送gradients一来数据传输的大小可控二来可以避免被attack。不过我猜也许人家想问的只是
印象中federated learning是为了privacy的原因比较多 实际实现起来貌似难度很大  感觉楼主可以问一些clarification question看看是不是一定要 fed learning 还是简单的big data processing就能解决
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号

本版积分规则

隐私提醒:
■拉群请前往同学同事飞友|拉群结伴版块,其他版块拉群,帖子会被自动删除
■论坛不能删帖,为防止被骚扰甚至人肉,不要公开留微信等联系方式,请以论坛私信方式发送。
■特定版块可以超级匿名:https://tools.1point3acres.com/thread
■其他版块匿名方法:http://www.1point3acres.com/bbs/thread-405991-1-1.html

手机版|||一亩三分地

Powered by Discuz! X3

© 2001-2013 Comsenz Inc. Design By HUXTeam

Some icons made by Freepik from flaticon.com

快速回复 返回顶部 返回列表