📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 194177| 回复: 342
跳转到指定楼层
上一主题 下一主题
收起左侧

[职场感言] Llama 4的训练存在严重问题,已经向GenAI提交辞职

   
👏 46
😮 243
😅 5
😤 2
😓 42
😱 45
😧 4
😨 8
👻 17
🧐 30
🎯 2
💯 25
❌ 2
👀 11
💪 15
59
🐂 64
🍉 83
全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x

经过反复训练,其实内部模型的表现依然未能达到开源SOTA,甚至与之相差甚远。公司领导层建议将各个benchmark的测试集混合在post-training过程中,目的是希望能够在各项指标上交差,拿出一个“看起来可以”的结果。而如果未能在4月底的设置的deadline前达成目标,后果将不堪设想。昨日Llama 4发布之后,X和Reddit上已经有很多人实测结果非常差。
作为一名目前也在学术界的人,我实在无法接受这种做法。因此,已经提交离职申请,并且明确表示之后Llama 4的Technical Report中不要署上我的名字。Meta的VP of AI也是因为这个原因辞职的。

评分

参与人数 53大米 +70 收起 理由
PlatinumBurrito + 1 给你点个赞!
lintc + 2 给你点个赞!
奋斗中 + 1 赞一个
NebulaNinja + 1 赞一个
Glucks.Wooer + 1 赞一个

查看全部评分


上一篇:[连载] 幽灵代码 - 4
下一篇:Google 口头 offer vs 原公司 H1B 抽中,求建议!
地里匿名用户
匿名用户-EGWEW  | 添加认证 | 2026-1-4 09:41:41 来自APP
ylcsjtu 发表于 2025-04-06 19:37:12
这两天虚心聆听各方feedback (比如coding, creative writing等缺陷,必须改进),希望能在下一版有提升。
但为了刷点而overfit

. check 1point3acres for more.
news source:. 1point 3acres
'Results Were Fudged': Departing Meta AI Chief Confirms Llama 4 Benchmark Manipulation (ft.com)
好一个大义凌然-baidu 1point3acres

本帖子中包含更多资源

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
回复

使用道具 举报

👏 136
🙄 3
😰 4
👋 10
💯 96
❌ 4
💪 85
3
12
🐂 21
🍉 7
全局:
这两天虚心聆听各方feedback (比如coding, creative writing等缺陷,必须改进),希望能在下一版有提升。
. check 1point3acres for more.
但为了刷点而overfit测试集我们从来没有做过,实名Licheng Yu,两个oss model的posttraining有经手我这边。请告知哪条prompt是测试集选出来放进训练集的,我给你磕一个+道歉!

评分

参与人数 41大米 +65 收起 理由
closewen + 1 赞一个
吕十十 + 1 赞一个
428910 + 1 赞一个
corrugate + 1 赞一个
微信用户_a3e9b60 + 1 赞一个

查看全部评分

回复

使用道具 举报

地里匿名用户
推荐
匿名用户-FWTUN  | 添加认证 | 2025-4-9 03:53:17 来自APP
🎯 16
💯 3
这个帖子里meta ai同学们一直用爆料自己真实身份来压大家的质疑 但你们的这个一点都没有逻辑

你们爆料自己身份和llama4有没有overfit 一点关系都没有

你们自称看过所有data然后让我们来找出overfit的data 首先我们外部的人怎么可能有access到你们的training data?再其次让吹哨者在public 场合指出你们overfit 用的data和让他自杀没区别 这个在法律上严重多了 你们知道吹哨人不敢这么做。你们就是在明明知道both 大众和吹哨者都无法做到这件事的时候通过爆料自己身份让自己看起来站在道德制高点来让别人看起来不占理 你们这个操作就很下作

再其次 你们不可能看过所有data 物理上就不可能 就是在公众场合欺骗大众 你们有一条一条得把所有data 都跑一遍污染检测吗?你敢说你们做到了这一点?. 1point3acres

再其次 现在已经有benchmark证明llama4有很大overfit的嫌疑 然后在arena leaderboard 上被证实弄虚作假之后 你们结果现在都不出声不敢担责了 那你们作为一个人的修为是不是也很有问题呢?.

我觉得大家还是留意一下这个帖子里的meta同学吧 离他们远一点为好 我是不想看到这样的人在自己公司工作的。不好好做科研就想着取巧,llama就是被这帮人搞砸的,这种人不管去哪里都是灾难性的

评分

参与人数 3大米 +3 收起 理由
小丸几 + 1 楼主/层主请继续!
yseLong + 1 赞一个
414183054 + 1 赞一个

查看全部评分

回复

使用道具 举报

💯 16
全局:
匿名用户 发表于 2025-04-06 17:27:52
作为在gemini里打杂的一个 我有极大的理由怀疑meta其实还严重窃取了gemini的工作…
请问窃取了你们啥工作?可以说出来具体的技术细节吗?看看是不是绝密技术。需要的话你可以搜我:Di Jin,我有Google scholar

评分

参与人数 14大米 +34 收起 理由
428910 + 1 赞一个
江上清风游 + 1 给你点个赞!
QueenieV + 20 给你点个赞!
hawking + 2 给你点个赞!
nuoysulb + 1 欢迎分享你知道的情况,会给更多积分奖励!

查看全部评分

回复

使用道具 举报

地里匿名用户
🔗
匿名用户-2PFDV  | 添加认证 | 2025-4-7 08:17:39
还有intergrity的人在meta工作是一种折磨,支持lz
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-PTKC4  | 添加认证 | 2025-4-7 08:22:21 来自APP
看来各公司大裁员在路上,郁金香的故事吹不下去了!
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-W45UF  | 添加认证 | 2025-4-7 08:24:19 来自APP
应该去发推特
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-DRRJK  | 添加认证 | 2025-4-7 08:25:12
🤩 1
匿名用户 发表于 2025-4-6 19:22
看来各公司大裁员在路上,郁金香的故事吹不下去了!

脸冲上去可是就是靠ai这一波的。. 1point 3acres
看来ai的泡泡要坚持不了多久了。

评分

参与人数 1大米 +1 收起 理由
种子和土壤 + 1 赞一个

查看全部评分

回复

使用道具 举报

地里匿名用户
🔗
匿名用户-2PFDV  | 添加认证 | 2025-4-7 08:27:09
匿名用户 发表于 2025-4-6 17:25
脸冲上去可是就是靠ai这一波的。
看来ai的泡泡要坚持不了多久了。

在ads org工作过的表示 ai 撑起来meta ads growth 就是放p,小扎还是当年那个干啥毁啥只不过乘上了几次东风的小人罢了
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-YQZ5B  | 添加认证 | 2025-4-7 08:29:34 来自APP
🧐 1
如果 deadline 是四月底
为什么着急在 4 月 5 号发布掺假的结果?
明明还有 3 个多星期继续改进
回复

使用道具 举报

全局:
??llama4上哪些人是主要领导层?
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-TX80Z  | 添加认证 | 2025-4-7 08:31:54
有骨气!有风骨!
一个只能做RAG genAI app的普通码农飘过,仰视你们这群大牛
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
职场达人
  • ↑ 本版用于讨论职场各种干货话题,闲聊请去🔗聊聊或者🔗匿名版
  • ❌ 本版严禁水贴,引战,发布广告,拉群,贴个人联系方式,扣分无警告
  • ☑ 求职、面经等去 🔗北美求职和 🔗回国求职大区,刷题和学习请去 🔗终身学习大区
  • ☑ 请去专版发布 🔗内推, 🔗招聘信息,和讨论 🔗创业内容
  • ☑ PIP / DevList/ Need Support 等话题也已开设 🔗专版

本版积分规则

>
快速回复 返回顶部 返回列表