Llama 4的训练存在严重问题，已经向GenAI提交辞职

ylcsjtu 发表于 2025-04-06 19:37:12
这两天虚心聆听各方feedback (比如coding, creative writing等缺陷，必须改进)，希望能在下一版有提升。
但为了刷点而overfit

佩服这种情况下能实名站出来 有担当

Kapukon 发表于 2025-04-06 22:08:45
另外，这个楼里 Meta GenAI 工程师这么多，不知道你们如何评价 llama 刻意排除中文支持的做法呢

其实我觉得这个帖子就是为什么中文被排除的原因。太多中文信息源喜欢撒谎了。比如这里离职的vp是fair的，和genai就是俩org。做为内部员工不会不知道。之前genai reorg，有两个vp离开，这明显是对内部影响更大的，更值得说的，但外面新闻并不多。
要排除这些虚假的信息，要花太多时间了。否则做出来的model也是个大骗子…

真心求教, 这是国内哪家lab的经费投的流量, 雇的黑粉? 真没必要. llama不和国内竞争您放心吧, 现在国内国外各玩各的

要是国家层面想增强民族自豪感也是真没必要, DeepSeek的实力有目共睹, 国人之光, 最大最强开源模型是事实

有功夫还是回去多跑点试验优化优化代码吧

stochastic42 发表于 2025-4-7 01:05
刻意去掉中文能力可太简单了，直接用fasttext language classifier，把pre-training和post-training里面 ...

是的，这已经是很成熟的技术了。

都不说token了，imagenet 是真图片，阿猫阿狗的，有几个人真正的看满了每一张图片和训练集图片的区别。为啥就不能训模型。
kaiming真的看了每一张图片？就不能训模型了？

综合来看我相信这个帖子里面同学，可能nlp/cv一些概念并不熟悉（除非是竞争对手刻意抹黑，故意问一些显而易见的东西？）。基于llama4这个多模态模型，感觉不是post training核心负责人。所以我相信他确实没有混benchmark数据。

mathkobe 发表于 2025-04-06 22:24:52
Fair 虽然人员流失很严重，但是按道理还是有不少很厉害的大拿。但是怎么看起来和llama完全没有关系。
不过有说法是fair和genai矛盾很大。具体也不知

因为你口中的nobody会向上管理。大牛只专注于技术不会“向上管理”。 在meta genai 做事不重要，做人比较重要。

匿名用户 发表于 2025-04-07 06:42:45
其实我觉得这个帖子就是为什么中文被排除的原因。太多中文信息源喜欢撒谎了。比如这里离职的vp是fair的，和genai就是俩org。做为内部员工不会不知道。之前g

都不用拿ds举例子，oai和谷歌做的模型哪个不支持中文，哪个不是薄纱llama？

匿名用户 发表于 2025-4-7 14:42
其实我觉得这个帖子就是为什么中文被排除的原因。太多中文信息源喜欢撒谎了。比如这里离职的vp是fair的， ...

对的。还是英文信息质量好，比如zuckberg是lizaard people 还是 robot boy来着？

匿名用户 发表于 2025-4-6 18:34
llama4 我不知道，懂irev,不会不知道pacing吧，不会不知道有多少是budget constraint 的吧。

看到了熟悉的词，bid constraint vs budget constraint，请给解释解释区别吧

匿名用户 发表于 2025-04-07 09:01:56
对的。还是英文信息质量好，比如zuckberg是lizaard people 还是 robot boy来着？

你看看 你为说谎的人辩护 却都不脸红 质量怎么可能好？

匿名用户 发表于 2025-04-07 06:42:45
其实我觉得这个帖子就是为什么中文被排除的原因。太多中文信息源喜欢撒谎了。比如这里离职的vp是fair的，和genai就是俩org。做为内部员工不会不知道。之前g

你知道scp基金会吗，纯编还像模像样呀。 还有各种都市传说， 基本都是老美先弄出来的。。。

“太多中文信息源撒谎”， 这玩意本身没有中文信息源撒谎的prevalence数据支持， 也没有和其他语言的对比。 你这帖子本身， 倒是就很像是撒谎造谣， 所以， 你唯一的论据就是你和lz两个人在用中文造谣撒谎。。