求brainstorm，一个机器学习系统设计面试题

楼主不久后要参加一个面试。recruiter大致讲了下ML系统设计的题目，叫我好好准备。题目是这样的，有很多的设备分散在不同的地区，然后这些设备会实时向数据库传输数据，我要做的是利用这些数据，设计一个outlier detection系统，及时找出异常的设备。数据传输实时并且量级非常大。但并没有说到底什么数据会被收集（这里应该是开放题，只要自己言之有理就行）

有没有小伙伴有类似的工作经验或者有好的paper推荐？准备突击一下。谢谢！

听上去倒是可以用Federated Learning，device上并不直接发送raw data 而是发送gradients一来数据传输的大小可控二来可以避免被attack。不过我猜也许人家想问的只是如何设计data pipeline另外device的computing power也是值得考虑的变量。

如果不要求设计收集什么数据、如何收集数据的环节，听起来有点像 outlier detection on streaming data. 楼主可以看看相关tutorial和paper

可以看看https://github.com/yzhao062/pyod这个package找找思路. 比较重要的是和面试官的讨论吧, 比如可以问一下不同设备之间发回来的数据会不会差别很大 (有可能是因为工况不一样), 可能要每个设备单独做一个anomaly detection的模型, 这种情况怎么去scale系统来支持很多模型. 如果想联合分析所有设备, 那可以考虑每个设备收集一小段时间序列, 然后计算一些特征, 通过特征分布来找outlier. 这里面可以讨论一下不同设备上传数据有延迟怎么办, 关系大么, 等等.
这个问题没有标准答案, 我就提供一点分析思路...

solomonking 发表于 2020-11-03 05:40:40
听上去倒是可以用Federated Learning，device上并不直接发送raw data 而是发送gradients一来数据传输的大小可控二来可以避免被attack。不过我猜也许人家想问的只是

印象中federated learning是为了privacy的原因比较多 实际实现起来貌似难度很大  感觉楼主可以问一些clarification question看看是不是一定要 fed learning 还是简单的big data processing就能解决