Roblox审核危机背后，藏着大厂ML SD面试高频考点

最近 Roblox 又火了🔥
但这次不是因为新游戏或开出的大包，而是因为内容审核（moderation）危机：

• 系统放过不良用户，却误伤正常玩家
• 审核标准不透明，申诉也难以成功
• 有玩家想帮忙净化社区，结果反而被永久封号，成了“背锅侠”
  

这其实是所有 UGC 平台（用户生成内容平台） 都绕不开的问题：👉 如何检测 harmful content？
而这正好也是许多大厂 Machine Learning System Design 面试的一道高频考题。
作为前Meta某Integrity团队founding member，我参与过从data, modeling, infra到human review的端到端开发。今天就来抛个砖，和大家聊聊我会怎么来解答这道题。

首先，为什么 harmful content detection 很难？
我总结了4点，每一点都涉及产品和工程上的痛点：

• 形式多样：文本、图片、语音、视频，甚至 3D 模型
• 边界模糊：一张图是恶搞还是侮辱？一句话是玩笑还是仇恨？
• 对抗性强：用户会刻意绕过，比如错别字、谐音、拼写变形
• 风险极高：尤其平台以未成年人为主时，容错空间几乎为零
  

那么，在面试里我会怎么答？
以下是我根据实战经验总结的framework，由浅入深循序渐进，在面试中效果很好：
1 Clarification

• 明确 harmful 的定义：和面试官确认产品和使用情境
• 确认检测后的处理方式：拦截、减少曝光，还是交由人工复核？
  

2 Data & Feature

• 需要哪些标注数据，如何收集、预处理？
• 哪些 feature 最关键？输入模型前需要做哪些变换？
  

3 Model （重点）

• 模型要解决的核心问题是什么？
• 架构，训练方式如何选择？
• 不同模型的优缺点对比
• 结合使用场景，选择最合适的模型
  

4 System

• Real-time, near real-time, batch processing 各有什么 trade-off？
• 如何搭建满足实时性和复杂性的架构？
• 灰度区间如何处理？比如交给人工审核 vs ROI 更高的方式
• 小秘密🤫: Meta 内部有个 Single Review Tool (SRT)，所有审核统一在一个系统中，提高效率和准确性
  

5 Metrics

• Offline: Precision vs Recall ——是宁可错杀一千，还是不能冤枉一个？
• Online: 用户体验指标，如申诉效率，误判率等
• Bonus: 对抗性测试
  

6 Deployment

• 有效检测机制和快速迭代流程
• 部署中保证准确性与可扩展性
• 提供清晰透明的违规原因说明
  

最后小结
在ML System Design面试中，Detect Harmful Content 并不是考你写算法，而是考你能否在 技术、用户体验和产品需求 之间做权衡。
对于接下来有面试的小伙伴们，希望上面列出的framework可以帮到你，尤其在增加基础ML知识后可以更加系统地向面试官阐明你的思路。


Roblox 的“翻车现场”就是一个很好的案例：如果把它当作面试题，你能否设计出一个更平衡的方案呢？

欢迎各位加米，补充细节或提问评论，如有需要也欢迎找我mock 😉