也说ChatGPT和其影响 - 以前的NLP技术被革命了

columbia88 发表于 2023-2-21 11:24
multimodal呢？还有前景吗

当然有前景，实际上我很看好openai能把image这些modal加入gpt-4里面，而且能够demonstrate it works。那时候还真是想怎么调戏怎么调戏，还不知道多有意思。

yjjhzxlDLJP 发表于 2023-2-21 11:59
my two cents: 目前industry走BERT的技术线的话，real-time inference speed和data security都不是问题，通 ...

现在我知道的大公司里面，大量资源都被shift到了这种超大llm上面

替换效应来说，分类和一些轻量的labeling服务没有必要直接上chatgpt，成本和latency都不支持

但是更复杂的事件抽取和以及一些之前想不到的应用，比如code generation domain，用chatgpt给已有的代码找bug，或者直接扫描整个project，补全unit-test这些，chatgpt搞替代将没有阻力，因为目前这些model本来也就barely works。

最后还是成本的考量，但是chatgpt会成为主流的一支，而且随着成本的下降，替代效应越发明显。

楼主看过instructgpt的论文么？我认为他只是将生成任务比gpt3做的更好了，更贴合人类说话的方式，准确率也更高了。但在其他应用任务上并没有感觉比gpt3做的更好，而且业界很多nlp任务不是生成的呀。那么问题来了，gpt3出了好多年也没对其他nlp技术降维打击，chatgpt咋打击呢

LLM 还是一个黑箱吧？

匿名用户 发表于 2023-2-20 23:28
现在我知道的大公司里面，大量资源都被shift到了这种超大llm上面

替换效应来说，分类和一些轻量的labe ...

楼主觉得未来会变成小公司和普通人 用大公司的 llm 或者其它foundation model 来应用ai嘛。小公司 fine-tune, 普通人prompt engineering..

匿名用户 发表于 2023-2-20 22:39
是的,这样做是非常普遍的.

但是大公司花了大价钱训练的好模型都是不公开的,想要达到和这些模型一样的 ...

确实，未来估计会有什么办法让小公司直接fine-tune 模型，毕竟训练一个foundation model 太贵。

匿名用户 发表于 2023-2-21 13:45
楼主觉得未来会变成小公司和普通人 用大公司的 llm 或者其它foundation model 来应用ai嘛。小公司 fine-t ...

这个不好说

AI这个领域隔两年就会来一个paradigm shift。如果哪天Google/meta/openai哪个组发现小模型怎么训练训练依然能达到目前大模型的效果，那么自己部署llm就会变成可能。

但是如果参数依然是目前这个100b+的规模，那么应该还是小公司调大公司的api为主，就和map相关的service一样，只有大公司能提供服务。

dlaraw 发表于 2023-02-20 11:33:22
GPT3 is a decoder only model. There is no embedding.

decoder也有masked self attension 也会有hidden states 只是一般大家不用这个embedding

匿名用户 发表于 2023-02-20 22:05:43
这个不好说

AI这个领域隔两年就会来一个paradigm shift。如果哪天Google/meta/openai哪个组发现小模型怎么训练训练依然能达到目前大模型的效果，那么自己部署llm就会变

好的 谢谢楼主回答

匿名用户 发表于 2023-02-20 19:39:43
是的,这样做是非常普遍的.

但是大公司花了大价钱训练的好模型都是不公开的,想要达到和这些模型一样的performance,是需要巨大的训练资金的.

gpt3 这种就算是pretrain model，要load 进去也得350G。。。 跟BERT不是一个级别的