【个人观点】AI 时代 DS/MLE 可以做什么

时代真的变得很快，离我上次发表粗浅看法还不到一年，DS/MLE的领域已经开始受到AI的不小冲击。我今年也做了一些AI Application的东西，也时不时跟公司内外非SWE的人讨论过AI对于“正常职场人”的短期和长期影响。我觉得有些东西差不多已经成型，想跟大家探讨一下我个人的观点，欢迎友善辩论。毕竟这区域仍然很新，我也不是某些大嘴CEO半桶水就敢出来打包票做预见，所以以下绝大部分都是我个人从这两年AI生态急速的进步中总结出来的观点，绝非职业指南。

还是要强调一下，我一直定义DS/MLE为“用数据以及模型解决产品问题”的通才型选手，区别于SWE（用逻辑解决产品问题）和眼下的AI researcher（开发和改进LLM本身）。

简单回顾一下这两年AI（对DS行业）的影响。两年多前，LLM刚占据各大头条时候，很多DS的常规用户/客户纷纷表示这东西太强大了，他们的反馈基本在：

• ”之前需要DS做的东西，我们现在自己就能做！“ 比如他们认为直接让LLM做预测就行。
• ”LLM能帮DS很快解决我们的问题。“ 比如他们认为LLM是一个新的超级模型能让DS做出超级产品
• ”你们能用LLM帮我们解决XYZ问题吗？“ 比如他们要求绝对/基本正确的问答机器，能迅速找到正确内容的超级配对工具。
  

大家应该注意到了，以上3点其实按顺序描述了不同程度的对LLM的幻想。绝大多数来源于对于LLM的无知（无贬义）。可能有一些同行也碰到过类似问题，最麻烦的就是如果你有一个同样不懂的大老板（假设你的direct report多少还懂一点），你可能不得不花大量时间来做出例子来说明你做不了这个，有些时候甚至还会被质疑。
然后快进到一年前，不少高阶的应用工具开始出现/成熟在应用领域，比如RAG。各种对应的教育性文章也开始普遍，逐渐有更多的用户/客户开始更了解LLM。情况从某种程度来说稍微好了点。客户的反映开始变成

• 我们需要有HITL的XYZ自动化工具
• 我们需要用LLM减少这部分的人工时间
  -baidu 1point3acres

AI应用领域的雏形已经展现，客户已经认识到某些问题无法用LLM（完全）解决，并且开始懂得如何提出合理的要求。但是从DS/MLE角度，开发这些应用的难点仍然存在：

• 如何把时间花在专业性的内容，而不是重新开发基本的架构，或者改进不成熟的已有架构的一部分。
• 有没有简单的eval标准和架构
• 有没有行业普适的开发指南
  

注意到，这些问题开始向上一代建模问题趋近。
其实就算是一年多前，开源领域已经开始有不少先驱者，比如langchain, llamaindex等做起了通用性架构，但是很多尝试从今天的眼光来看还是有所欠缺。并且更重要的是，当时的注重点仍主要停留于RAG和单一节点的开发简化。
然后就是到2025年，各大开源项目的agentic framework迅速推进（langgraph, llamaindex, adk, etc)，搭配MCP和A2A这样的标准，大家已经充分认识到，就算在GenAI时代，应用开发的本质依然没有改变，仍然在于”如何开发易于维护的pipeline“。区别在于，如何从确定性的workflow pipeline进化到LLM guided pipeline（aka agentic workflow)。那么其实DS/MLE应该做的事情就已经很清楚了。
（打字不易，先喝口水过几天继续， 欢迎各路大佬和同好一起讨论！）

补充内容 (2025-09-17 11:52 +08:00):
从我个人的结论来说，AI时代DS/MLE一个重要的工作内容就是搭建以LLM为一部分内容的自动化模型流水线。具体说来有以下几点。
首先是流水线/pipeline。作为DS/MLE，如果我们常年的工作内容仅限于End2End中几个节点，那么竞争力是非常有限的。所以成熟的DS组必定会追求搭建完整的解决方案。最常见的解决方案有两种，网页应用，和流水线（batch和stream都算）。我之所以从流水线说起，是因为DS组很少同样负责前端和服务器的大部分内容。在Agentic workflow时代，甚至大部分的GenAI网页应用也可以收敛到workflow，这个我后面再说。
与前一时代的ML pipeline相比，其实agentic workflow有很多相似之处：

• 每一步骤尽量简单并且精确，彼此之间的联系尽量明确。
• 从数据清理开始，到喂入模型，然后清理结果，并提供评测。
• 结果的好坏很大程度上取决于数据质量

	Agentic Workflow	ML Pipeline
数据的难点	Context generation Data re-structure	Feature engineering Domain knowledge Data cleaning
模型的难点	Trade off between speed and quality Cost management Migration	都2025年了。没什么太大难点了吧？
评估的难点	人工评估几乎是不可避免的 标准化评估远远没有ML评估来的可信。 thoroughness vs cost	都2025年了。没什么太大难点了吧？

此外agentic workflow新增的难点在于它的不确定性。这些难点都是需要DS/MLE来解决的。我认为这些内容是DS/MLE的工作范围是因为这需要经验以及完备的验证，而不是和纯prompt engineering一样靠经验和运气吃饭。结果的确定性会通过解决上面提到的难点而大大提高。反之纯prompt engineering几乎无法解决上面提到的所有难点（除了评估）。
其次是自动化的目标。和传统的DS工作内容本质一样，模型和流水线都是自动化的一环。那么你的自动化要解决什么样的问题是你成功的重要因素。这里就需要我们仔细选择你的解决方案。只有在仅能依靠LLM来解决目标问题的时候才是采用agentic workflow的时候。这样的目标类型其实并不多：

• 自由的输入和指令。比如数据输入是从user chat发起的。
• Unstructured data。比如你的输入是各种类型的发票照片，合同文件，搜索内容。

这里还要再次强调，想通过LLM来更好地解决传统ML已经解决的问题基本会是失败的。
最后就是“LLM”。Agentic workflow的核心内容就是LLM，无论是内部的纯LLM节点，或是通过LLM来连接不同节点，都是需要通过prompt来调用LLM。这里DS/MLE需要做的重要的内容是，

• 如何平衡LLM节点和non-LLM节点
• 如何平衡用LLM连接的节点和非LLM连接的节点。

一些复杂的应用也会涉及到高级的RAG搭建。这里就不展开了。
从上面的描述不难看出，这些选择并不是SWE常规的业务范围，而更贴近于DS/MLE一直一来的工作性质。这种观点不但会被DS组发现，也同样会被SWE组和下游业务组发现，所以攻坚这一内容将会是接下来几年DS组的重头戏。
我前面还提到，就算是网页应用，目前的各种agentic workflow架构其实都已经对接的很好了。一个成熟的agentic workflow能够无缝接入到网页对话窗。得益于各种数据库，MCP的接入，主攻agentic workflow也能顺利跟SWE对接搭建网页应用。这其实是AI时代DS的一个利好。这些应用从一开始就是为了解决网络应用而生，不需要DS/MLE再去琢磨serving这一问题。
不少坛友在回帖中问道与SWE的竞争关系。过几天我再来补充一下我的一些看法。

我只想听 DS/MLE 怎么能够最大化自己的收益 ROI
1. 如果要自己想主意和去突破模型线上指标，那只拿工资太亏了，为啥盖房子的还要帮卖房子的人背KPI， 我自己去做 PM 不香吗
2. 有没有那种不需要自己想主意的，上面给就行，然后按部就班靠积累和知识做出来可以用就行的

可以更高效的写bug给公司领导挖新坑

森野夜 发表于 2025-9-15 07:02
你这么说就是没理解啊，全换成llm, 怎么保证这活还是你的？以前还需要ds/mle train个模型来接入，现在llm  ...

> 不会被swe掉用llm api一秒替代的。

其实可以换个角度想，如果SWE能上手agent building，是属于跳出舒适圈，愿意开发新技能的选手。如果DS还是固步自封，缺少的竞争力就不是DS vs SWE了，而是无法自我提高。一套东西做10年是不可能的。

此外单纯地call LLM API现在是解决不了什么有意义的问题的。如果没有尝试过可以试试。只要多给几个test case基本都会出现严重的问题。只要是稍微大点的问题就很难用单纯的new test case -> tweak prompt -> repeat来解决。能够比较完美解决这样问题的SWE，就像我上面说的一样，他们本身就是一个合格的DS。

就算是传统ML， 现在训练模型的门槛已经很低了，完全不需要一个熟练的DS来掌控。

已加米，蹲一个续集。ds/mle该做什么，是设计agentic workflow evaluation experimentation? 还是train ml models to  integrate with agentic workflow? 还是别的？

已加米，蹲一个续集。ds/mle该做什么，是设计agentic workflow evaluation experimentation? 还是train ml models to  integrate with agentic workflow? 还是别的？

Good Discussion. How would you elaborate on the differences between MLE and software engineer- machine learning?

写得挺好的。

LittleFishBall 发表于 2025-9-14 15:50
我只想听 DS/MLE 怎么能够最大化自己的收益 ROI
1. 如果要自己想主意和去突破模型线上指标，那只拿工资太 ...

这问题恐怕超出我能力范围了。
至少我没有听说过L5以及以上DS可以只接活不给组里想新东西的。

ai时代对ds来说就是拥抱llm解决业务问题

森野夜 发表于 2025-9-14 18:04
已加米，蹲一个续集。ds/mle该做什么，是设计agentic workflow evaluation experimentation? 还是train ml  ...

都可以啊，原来用传统ml/dl的任务，全换成llm