也说ChatGPT和其影响 - 以前的NLP技术被革命了

匿名用户 发表于 2023-02-20 19:10:31
之前听某个搞科技投资的人讲说未来小企业可以直接借用大企业的模型，大企业pretrain 好了， 小企业再fine tune。

现在就是这样的，但是现在用的bert这种相对比较小的，gpt3 这种就算是pretrain model，要load 进去也得350G。。。 跟BERT不是一个级别的。   就是大公司只要是非互联网tech的公司都会没有资源的。

匿名用户 发表于 2023-2-21 15:00
现在就是这样的，但是现在用的bert这种相对比较小的，gpt3 这种就算是pretrain model，要load 进去也得350 ...

估计微软是不会开放gpt3 给用户training 和 fine tuning的，而且成本也高。api azure cloud 等等以后提供的服务就会加入ai服务，商业用户可以upload自己的代码库。他们提供 ai coding debug runtime uml-implementation 之类的

medex 发表于 2023-02-21 08:19:09
估计微软是不会开放gpt3 给用户training 和 fine tuning的，而且成本也高。api azure cloud 等等以后提供的服务就会加入ai服务，商业用户可以upload自己的代码库

Openai的api不是已经支持finetune了吗？

這不是所有LLM的特點麼？並非chatgpt一家啊，從finetune到prompting也是行業趨勢，也不是只有gpt-3/4才在用prompting？

匿名用户 发表于 2023-2-21 17:37
Openai的api不是已经支持finetune了吗？

3.5以上没有吧？

yjjhzxlDLJP 发表于 2023-02-20 19:59:00
my two cents: 目前industry走BERT的技术线的话，real-time inference speed和data security都不是问题，通过调api来走gpt路线这两个都是问

能不能用GPT做teacher来train on device的小model?只要task specific 的小model在各种参数上跟GPT结果差不多，就可以很容易deploy了吧，一个大型的generic model 的inference成本也是很高的，小model类似GPT批发了再以几乎无成本的模式批发给用户。当然ChatGPT一个月20刀的会员费也不是很贵啦，普通人买会员也是一种商业模式，就是on-device的应用可能不太可控

匿名用户 发表于 2023-02-20 17:33:07
同意，我也做NLP好多年了，chatGPT的robustness程度惊人，相比以前的模型完全是量变达到了质变
反观某些所谓的业内人士不以为然的说它技术上并无创新只是engineering做得好和hu

我感觉你在cue LeCun, lol

acdc 发表于 2023-2-21 18:46
你虽然摸到蛋了，但是没扯对。NLP背后是transformer/rnn。 这个技术出来5，六年了。
gpt 2.0，3.0 确实 ...

好像不冲突啊,你看这楼我补充的
https://www.1point3acres.com/bbs ... 70&pid=18223471

我一直在强调,openai把lable和fine tuning用得出神入化. 其实GPT3.5也是在3.0的基础上进一步增强了fine tunning的