请
登录
后使用快捷导航
没有帐号?
注册账号
📣
黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
导读
Guide
功能中心
话题
求职
攻略
帮助
搜索
⌘
Ctrl
k
智能搜索
Google搜索
站内搜索
体验新版
权限解锁
登录
注册
首页
论坛
Offer多多
面试经验
Salarytics
Visa Tracker
交友
Instant
精品网课
生活攻略
手机APP
商务合作
<
登录
注册
升级
关注
扫码关注一亩三分地微信公众号
一亩三分地Warald
一亩三分地华人生活
一亩三分地求职移民
一亩三分地海外投资
帮助
TOP
置顶话题
最新回复
最新主题
最新热门
获取积分
新手指南
淘贴
我的订阅
我的帖子
道具[匿名/删除/提升/关闭/等]
考试
附件
勋章
许愿墙
去广告
面试辅导
全民竞猜
每日签到
每日答题
超级匿名
微信解绑
话题
学校
公司
地区
证券
求职辅导匹配
DS501 数据科学面试40+真题讲解
瞄准秋招:暑假跟着Shawn老师刷题!
DS601 AB Test从入门到精通
CS601 谷歌工程师讲系统设计
DS401 资深数据科学家教你破解DS面试
CS401 谷歌招聘委员会成员讲解如何准备面试
DS402 Resume Workshop
DS401A 模拟面试-数据科学
DS404B 模拟面试-机器学习
CS404A 模拟面试-算法
CS404B 模拟面试-系统设计
锦晖律师事务所H1B签证申请讲座
CS入门攻略
CS求职攻略
PM求职攻略
系统设计攻略
数据科学攻略
回国礼物礼品最全清单
如何在新城市快速省心安家
车盲如何购买二手车
收到医院的天价账单怎么办
更多
苹果应用商店
谷歌应用商店
百度网盘apk
商务合作
常见问题
新手上路
App下载
一亩三分地
»
论坛
›
专业技术
›
数据科学
›
Agentic Evaluation 今年的热度很高
返回列表
查看:
1029
|
回复:
0
直达
Agentic Evaluation 今年的热度很高
数据科学
qqwjq9916
当前离线
主题
帖子
82
积分
不准访问
积分
82
大米
颗
鳄梨
个
水井
尺
蓝莓
颗
萝卜
根
小米
粒
学分
个
注册时间
2021-8-15
最后登录
1970-1-1
狗仔卡
🔗
qqwjq9916
2026-7-29 16:19:43
|
只看该作者
|
倒序浏览
本楼:
👍
2
0
👎
全局:
64%
36%
42
24
注册一亩三分地论坛,查看更多干货!
您需要
登录
才可以下载或查看附件。没有帐号?
注册账号
x
我最近在想,它相比过去的 RAG / Search / Recommendation Evaluation,到底本质上增加了什么?
传统搜索和推荐,大多数时候评估的是一个
预测(Prediction)
:
用户搜「东京旅游」,模型有没有返回更相关的结果? 推荐的视频,用户有没有点击?
而 Agent 更像是在完成一个
任务(Task)
。
例如一句简单的需求:
帮我规划一趟东京五日亲子旅行。
Agent 可能需要理解需求、拆解子任务、搜索信息、比较酒店、规划路线、调用多个工具,再根据用户反馈不断调整。不同 Agent,甚至可能走出完全不同的 Reasoning Path,但最终都能完成任务。
.
这也是为什么 Agentic Evaluation 的重点,不再只是最终答案,而是整个系统:
是否完成目标(Task Success)
Planning 和 Reasoning 是否合理
Tool Use 是否高效
出错后是否能够 Recovery
多轮交互是否越来越接近用户真正的需求
从商业分析和 Data Science 的角度来看,这也是一个有意思的变化。
过去我们更多评估一个
Prediction System
;未来,我们评估的是一个
Decision-making System
。
评价对象,从一个模型,逐渐变成了一个完整的软件系统。
未来几年,Agentic Evaluation 很可能会像 A/B Testing 之于推荐系统一样,逐渐成为 AI 产品的重要基础设施。
. 1point 3 acres
🎓 作者个人导师主页: 👉
https://mentorcruise.com/mentor/jaywang/
📘 大模型与推荐系统图书购买链接: 👉
https://www.amazon.com/dp/B0FX7N91FQ/ref=tmm_kin_swatch_0
收藏
8
淘帖
0
好苗
2
杂草
0
上一篇:
Whatnot Senior DS 面经
下一篇:
请教AI coding 面试经验
相关帖子
分享学习资料,做了个AI小网站
为什么推荐系统不能只靠一个大模型?
狗家 DS Manager想转码了
朋友公司还招sr data analyst
求助:转DA/BA方向迷茫中,求大佬们指点
Arxiv CS CL方向求背书
Whatnot Senior DS 面经
请教AI coding 面试经验
要不要为了实习延毕一年
寻Data Center项目Advisor
28届学生好奇目前DS,DA岗位目前的工作前景怎么样
求tiktok usds ds 面经
Amex Data Science 面经
【SQL面试】知识点最全整理中级 面试看这一个就够了!! 求大米!!!!!!!!!
麻烦各路大神来给小白解释一下吧!!!
neuro/psych转DS,求建议和批评指正
从Goodhart’s Law到Benchmaxxing
用「4+2框架」看每个DS项目
Build your portfolio,先让目标团队感兴趣
beaconFire GenAI了解
DS501:数据科学面试真题讲解 |
科技公司如何以数据分析来驱动产品开发
回复
使用道具
举报
提升卡
置顶卡
关贴卡
开贴卡
变色卡
千斤顶
返回列表
B
Color
Link
Quote
Code
您需要登录后才可以回帖
登录
|
注册账号
隐私提醒:
☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗
同学同事飞友
,拉群请去🔗
拉群结伴
,广告请去🔗
跳蚤市场
,和 🔗
租房广告|找室友
☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
☑ 干货版块可免费使用 🔗
超级匿名
:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
☑ 查阅全站 🔗
各种匿名方法
本版积分规则
发表回复
回帖后跳转到最后一页
浏览过的版块
研究生申请
录取汇报:研究生
财务税务
工作签证
定位选校
择校比较
🔑其他广告
中国
院系介绍
招生广告
【婚姻绿卡 I-485 面经】领证两个月递交,全程分开面谈 75 分钟真实经历分享
跑了一个AI对就业影响的模拟
datacenter的第一年,从?到?,分享一些行业见闻
为什么传统 IT 行业 To B 的生意会归零?Opus 5.5 是 AI 发展史的奇点
对AI和Anthropic的一些看法
贡献一个EB1B 485 无面试Denied时间线
没换计划也没搬家,2027年医保补助却没了?
打算圣诞节出行?讲个南欧铁路上被盗的例子
我见过的育儿嫂/月嫂的套路
每日农场经济学:从冲榜到种田理财【求加米】
>
论坛导航
快速回复
返回顶部
返回列表