买它GenAI VP承认llama4有问题

sanmao0715 发表于 2025-4-8 02:15
🍉吃瓜。整个晋西北都乱成一锅粥了

卧槽 看到我认识的人了 这哥们具牛 16年高考广东省前十

匿名用户 发表于 2025-4-7 23:35
这兄弟估计就是llama team的

还是别吧。。。原来锅在原来genai底下的大神们看不懂benchmark嘛 。 我以为是太懂benchmark了

匿名用户 发表于 2025-04-07 23:28:34
这能说明啥，现在的llama 4又不是reasoning 模型，前面表现好的都是reasoning ，而与llama4对应的底座模型4o比llama4差，从67

仔细看榜单里的4o是去年8月的模型。评论有人让po主测最新的4o了，到时候真垫底就尴尬了
plus 4o 没有太多overfitting，gap最大的就是llama 4

sanmao0715 发表于 2025-4-7 23:37
仔细看榜单里的4o是去年8月的模型。评论有人让po主测最新的4o了，到时候真垫底就尴尬了

主要问题在于原版分数和扰动后的分数差距大到过于离谱。。
4o根本没这个问题

匿名用户 发表于 2025-04-07 22:49:32
不是抬杠，真心求问，这位兄台有什么惊世骇俗的成就能当VP这么多年？

是不是三哥？

匿名用户 发表于 2025-04-07 23:28:34
这能说明啥，现在的llama 4又不是reasoning 模型，前面表现好的都是reasoning ，而与llama4对应的底座模型4o比llama4差，从67

你是认真的么！？这个图的核心不是绝对值，是差值好么！Original和Hard差40%简直就是个joke，4o差28%虽然也很夸张不过和llama比真是小巫见大巫

匿名用户 发表于 2025-04-07 23:38:53
主要问题在于原版分数和扰动后的分数差距大到过于离谱。。
4o根本没这个问题

背题和刷题的区别

匿名用户 发表于 2025-04-07 23:57:12
你是认真的么！？这个图的核心不是绝对值，是差值好么！Original和Hard差40%简直就是个joke，4o差28%虽然也很夸张不过和llama比真是小巫见大

…你怎么也半吊子的感觉 这个table只需要original和扰动simple这两个column hard不需要看

匿名用户 发表于 2025-04-08 00:44:01
…你怎么也半吊子的感觉 这个table只需要original和扰动simple这两个column hard不需要看

hard不需要看作者为什么要create？advanced generalization就不是generalization了？谁是半吊子

匿名用户 发表于 2025-4-8 04:00
hard不需要看作者为什么要create？advanced generalization就不是generalization了？谁是半吊子

你可能真是半吊子。
original和扰动simple区别大，而其他模型这两项区别小，是最说明背题这个问题的。