高级农民
- 积分
- 1125
- 大米
- 颗
- 鳄梨
- 个
- 水井
- 尺
- 蓝莓
- 颗
- 萝卜
- 根
- 小米
- 粒
- 学分
- 个
- 注册时间
- 2016-1-26
- 最后登录
- 1970-1-1
|
注册一亩三分地论坛,查看更多干货!
您需要 登录 才可以下载或查看附件。没有帐号?注册账号 
x
时代真的变得很快,离我上次发表粗浅看法还不到一年,DS/MLE的领域已经开始受到AI的不小冲击。我今年也做了一些AI Application的东西,也时不时跟公司内外非SWE的人讨论过AI对于“正常职场人”的短期和长期影响。我觉得有些东西差不多已经成型,想跟大家探讨一下我个人的观点,欢迎友善辩论。毕竟这区域仍然很新,我也不是某些大嘴CEO半桶水就敢出来打包票做预见,所以以下绝大部分都是我个人从这两年AI生态急速的进步中总结出来的观点,绝非职业指南。
还是要强调一下,我一直定义DS/MLE为“用数据以及模型解决产品问题”的通才型选手,区别于SWE(用逻辑解决产品问题)和眼下的AI researcher(开发和改进LLM本身)。
. 简单回顾一下这两年AI(对DS行业)的影响。两年多前,LLM刚占据各大头条时候,很多DS的常规用户/客户纷纷表示这东西太强大了,他们的反馈基本在:- ”之前需要DS做的东西,我们现在自己就能做!“ 比如他们认为直接让LLM做预测就行。
- ”LLM能帮DS很快解决我们的问题。“ 比如他们认为LLM是一个新的超级模型能让DS做出超级产品
- ”你们能用LLM帮我们解决XYZ问题吗?“ 比如他们要求绝对/基本正确的问答机器,能迅速找到正确内容的超级配对工具。. Waral dи,
大家应该注意到了,以上3点其实按顺序描述了不同程度的对LLM的幻想。绝大多数来源于对于LLM的无知(无贬义)。可能有一些同行也碰到过类似问题,最麻烦的就是如果你有一个同样不懂的大老板(假设你的direct report多少还懂一点),你可能不得不花大量时间来做出例子来说明你做不了这个,有些时候甚至还会被质疑。
然后快进到一年前,不少高阶的应用工具开始出现/成熟在应用领域,比如RAG。各种对应的教育性文章也开始普遍,逐渐有更多的用户/客户开始更了解LLM。情况从某种程度来说稍微好了点。客户的反映开始变成- 我们需要有HITL的XYZ自动化工具
- 我们需要用LLM减少这部分的人工时间. 1point 3 acres
AI应用领域的雏形已经展现,客户已经认识到某些问题无法用LLM(完全)解决,并且开始懂得如何提出合理的要求。但是从DS/MLE角度,开发这些应用的难点仍然存在:- 如何把时间花在专业性的内容,而不是重新开发基本的架构,或者改进不成熟的已有架构的一部分。
- 有没有简单的eval标准和架构
- 有没有行业普适的开发指南
注意到,这些问题开始向上一代建模问题趋近。
其实就算是一年多前,开源领域已经开始有不少先驱者,比如langchain, llamaindex等做起了通用性架构,但是很多尝试从今天的眼光来看还是有所欠缺。并且更重要的是,当时的注重点仍主要停留于RAG和单一节点的开发简化。
然后就是到2025年,各大开源项目的agentic framework迅速推进(langgraph, llamaindex, adk, etc),搭配MCP和A2A这样的标准,大家已经充分认识到,就算在GenAI时代,应用开发的本质依然没有改变,仍然在于”如何开发易于维护的pipeline“。区别在于,如何从确定性的workflow pipeline进化到LLM guided pipeline(aka agentic workflow)。那么其实DS/MLE应该做的事情就已经很清楚了。
(打字不易,先喝口水过几天继续, 欢迎各路大佬和同好一起讨论!). From 1point 3acres bbs
补充内容 (2025-09-17 11:52 +08:00):. Χ
从我个人的结论来说,AI时代DS/MLE一个重要的工作内容就是搭建以LLM为一部分内容的自动化模型流水线。具体说来有以下几点。
首先是流水线/pipeline。作为DS/MLE,如果我们常年的工作内容仅限于End2End中几个节点,那么竞争力是非常有限的。所以成熟的DS组必定会追求搭建完整的解决方案。最常见的解决方案有两种,网页应用,和流水线(batch和stream都算)。我之所以从流水线说起,是因为DS组很少同样负责前端和服务器的大部分内容。在Agentic workflow时代,甚至大部分的GenAI网页应用也可以收敛到workflow,这个我后面再说。
与前一时代的ML pipeline相比,其实agentic workflow有很多相似之处:- 每一步骤尽量简单并且精确,彼此之间的联系尽量明确。
- 从数据清理开始,到喂入模型,然后清理结果,并提供评测。
- 结果的好坏很大程度上取决于数据质量
|
Agentic Workflow |
ML Pipeline |
数据的难点 | - Context generation
- Data re-structure
| - Feature engineering
- Domain knowledge
- Data cleaning
|
模型的难点 | - Trade off between speed and quality
- Cost management
- Migration
|
都2025年了。没什么太大难点了吧? | . Χ
评估的难点 | - 人工评估几乎是不可避免的
- 标准化评估远远没有ML评估来的可信。
- thoroughness vs cost
|
都2025年了。没什么太大难点了吧? |
此外agentic workflow新增的难点在于它的不确定性。这些难点都是需要DS/MLE来解决的。我认为这些内容是DS/MLE的工作范围是因为这需要经验以及完备的验证,而不是和纯prompt engineering一样靠经验和运气吃饭。结果的确定性会通过解决上面提到的难点而大大提高。反之纯prompt engineering几乎无法解决上面提到的所有难点(除了评估)。
其次是自动化的目标。和传统的DS工作内容本质一样,模型和流水线都是自动化的一环。那么你的自动化要解决什么样的问题是你成功的重要因素。这里就需要我们仔细选择你的解决方案。只有在仅能依靠LLM来解决目标问题的时候才是采用agentic workflow的时候。这样的目标类型其实并不多:- 自由的输入和指令。比如数据输入是从user chat发起的。
- Unstructured data。比如你的输入是各种类型的发票照片,合同文件,搜索内容。
这里还要再次强调,想通过LLM来更好地解决传统ML已经解决的问题基本会是失败的。
最后就是“LLM”。Agentic workflow的核心内容就是LLM,无论是内部的纯LLM节点,或是通过LLM来连接不同节点,都是需要通过prompt来调用LLM。这里DS/MLE需要做的重要的内容是,- 如何平衡LLM节点和non-LLM节点
- 如何平衡用LLM连接的节点和非LLM连接的节点。
-baidu 1point3acres
一些复杂的应用也会涉及到高级的RAG搭建。这里就不展开了。
从上面的描述不难看出,这些选择并不是SWE常规的业务范围,而更贴近于DS/MLE一直一来的工作性质。这种观点不但会被DS组发现,也同样会被SWE组和下游业务组发现,所以攻坚这一内容将会是接下来几年DS组的重头戏。
我前面还提到,就算是网页应用,目前的各种agentic workflow架构其实都已经对接的很好了。一个成熟的agentic workflow能够无缝接入到网页对话窗。得益于各种数据库,MCP的接入,主攻agentic workflow也能顺利跟SWE对接搭建网页应用。这其实是AI时代DS的一个利好。这些应用从一开始就是为了解决网络应用而生,不需要DS/MLE再去琢磨serving这一问题。
不少坛友在回帖中问道与SWE的竞争关系。过几天我再来补充一下我的一些看法。 |
上一篇: IEEE Senior Member求推荐下一篇: 求tiktok anti fraud analyst 面经
|