Meta推出先进大型语言模型 欲背刺ChatGPT

匿名用户 发表于 2023-02-25 23:55:57
opt benchmark很差的。。。

补充内容 (2023-02-26 15:58 +8:00):

Opt 175b不也号称match了gpt3。我现在已经不是很相信这些几年前的benchmark了，contamination太严重了。你说的finetune是指rlhf吗？meta自己都不做，我觉得不太可能会有别人出钱出力当雷锋。

匿名用户 发表于 2023-2-26 00:30
Opt 175b不也号称match了gpt3。我现在已经不是很相信这些几年前的benchmark了，contamination太严重了。你 ...

额，我不知道你哪里看的营销号说OPT175b能match gpt3。OPT 自己的paper里连原始GPT3都打不过，few-shot performance差一大截，这篇至少report的结果确实是不错的。
rlhf只是alignment一种，取决于有没这需求吧，如果pretraining效果真的好并且真有需求，meta不finetune是傻吗。

匿名用户 发表于 2023-2-26 09:59
额，我不知道你哪里看的营销号说OPT175b能match gpt3。OPT 自己的paper里连原始GPT3都打不过，few-shot p ...

lecun说的话有两点还是值得看一下的:
1meta的llama是规模小于gpt3但语料大于gpt3的模型
2meta会一直坚持open source 的原则

希望lecun不是吹牛吧 :o)