Meta推出先进大型语言模型 欲背刺ChatGPT

刚试用了，吊打chatgpt，和老公公司的bard。完全是对他们降维打击

harrybob 发表于 2023-02-25 16:43:25
完全独立的，规模效果相近的真的没有，在那个时候搞内部版本不发布没有任何意义。

我感觉对于google来说在T5之后停止LLM的研究是一件不太合理的事情 不过google速度比小公司慢也很合理

补充内容 (2023-02-26 08:49 +08:00):
肯定是有很多同期工作在做的 只是openai先发出来

Meta Debuts AI Language Model, But It's Only for Researchers

tytz 发表于 2023-02-25 16:48:53
我感觉对于google来说在T5之后停止LLM的研究是一件不太合理的事情 不过google速度比小公司慢也很合理

补充内容 (2023-02-26 08:49 +08:00):

谷歌在搞mmum，点错了科技树

匿名用户 发表于 2023-2-25 17:13
谷歌在搞mmum，点错了科技树

好像合理。不过话说回来，简单看了下paper meta这个model好像确实挺强。。。openai引爆的LLM竞赛感觉才刚刚开始，LLM这种领域感觉对于senior ML researcher来说太好入门了。

tytz 发表于 2023-02-25 16:48:53
我感觉对于google来说在T5之后停止LLM的研究是一件不太合理的事情 不过google速度比小公司慢也很合理

补充内容 (2023-02-26 08:49 +08:00):

google那时候还在搞gpt2提出的transfer learning呢，完全没意识到scale会带来few shot这样的新能力。即使有scale up的能力（gshard），也没有去系统研究scale和性能的关系。gpt3在LLM的里程碑意义是公认的，绝不是先发出来而已这么简单。

harrybob 发表于 2023-2-25 17:32
google那时候还在搞gpt2提出的transfer learning呢，完全没意识到scale会带来few shot这样的新能力。即使 ...

这个倒是。其实我之前做实验的时候测试T5就已经有few-shot in-context learning的能力了，但是当时做T5的人看起来并没有意识到这点/没觉得这点很重要。

补充内容 (2023-02-26 09:42 +8:00):
不过我个人觉得scaling不是唯一答案。考虑到deployment问题如何用更小的model size达到更好的效果可能是大公司更关注的问题。

匿名用户 发表于 2023-2-25 13:13
来讲道理

GPT3+模型这种强行堆参数和堆数据的玩儿法就是OpenAI搞出来的，chatgpt是不是革命？当然是， ...

额 你这个道理讲的 大模型大数据是学术界公认的事情 怎么就成openai搞出来的了？

光一个模型有啥用？
微软都已经产品落地了。
最近发现用new bing读论文真太太太方便了。可以直接选中内容，让他总结，解释，搜索相关等等。

匿名用户 发表于 2023-02-25 08:36:34
狗家劈柴出来走两步。。。
看这样子，第二轮裁员估计就是4月底或者5月初了。。。

y1s1早就有palm了