这篇笔记更focus在1️⃣,这类mle基本干的活就是modeling ds + sde。如果你本身是ds modeler或者sde,其实已经半只脚进了门。身边有很多ds,de,sde转这个工种。
一个合格的product MLE需要productionize你的ml model,给公司涨metrics。比如搜广推,及其llm的衍生技术,这三大传统ml方向各有自己的topline metrics。search有传统的SERP rate,以及结合了RAG之后的pDAU,是llm最大受益者和最速落地场景;ads一般是公司盈利大头,自然是goal on revenue;推荐算法广泛运用于各种organic surface,比如story,feed,reels,早期产品goal on DAU,成熟的产品DAU涨不动会goal on session或其他engagement metrics。广&推因为有很多seq data,也能用到很多llm的technique。
MLE面试内容
MLE的面试内容和DS相差很大,更偏向于SDE面试+ML domain knowledge。一般onsite包括
- Algorithm Coding:考察概率95%。一般是leetcode,最近🈶淡化趋势,因为公司想找bg更符合的candidate而不是背题机器,小公司尤甚。且VO+gpt加剧了coding作弊的情况
- ML Coding:考察概率50%,不是所有公司都会考。主包觉得这个更practical更考察ML基本功。面试内容是各种手写ML底层,比如KNN,deep learning NN,back propagation,multi-head attention,etc
- ML deep dive:考察概率50%,主要是了解一下candidate以前是否有e2e ml经历,model serve过多大的系统,做过哪些engineering tradeoff。如果没做过的话,一深挖基本露馅。为了打磨自己的depth建议多读一读各大厂的eng blog,比较推荐pinterest,abb,meta,uber,etc
- ML System Design:100%必考,target的级别越高越重要。这个和实际工作最贴合,考察如何design一个e2e的搜广推/llm ml system,比如短视频推荐,外卖送餐优化,llm-based search。答题框架一般是 data collection and cleaning, label and feature engineering, model arch design, offline training and tuning, online serving, monitoring system. 实际工作的senior level的eng基本也需要做全套这些,外加一开始需要做一些data driven analysis来justify the direction correctness. 这个需要靠平时工作多积累经验,如果工作不太相关的话,尽量多读读经典的paper(BERT, MoE, SNN, Two Tower, etc)和市面上一些ml design的书(grokking, Alex Xu, Huyen),构建自己的答题框架和深度。
- Behavior:100%必考,target的级别越高权重越高。这个和ml design面的好不好直接决定你的级别,很多降级的人是因为这两个考察内容没有展现target level该有的signal。比如你面5和6,但是讲的故事还停留在feature level,或者是和小3小4扯皮。
MLE的日常工作routine(抽象版)
- Pipeline logging坏了,冒充de修一下
- Workstream里没ds,要roadmap了搞一些data analysis给leads画饼让老板招人
- Model training failed了,internal搜一下别人也有一样的bug,diss一下垃圾tools然后躺了
- AB test绿了🐸,炼丹师狂喜,draft一个launch proposal,然后被capacity block住
- AB test红了🌹,HBT要deadline了,daily warroom debug 急急急
- 多方利益冲突,Launch危,要不转组跑路吧