重大更新ChatGPT Plugins不给打工人活路了

harrybob 发表于 2023-3-28 20:03
用gpt做推荐为什么还要pairwise？直接给一堆结果让它rank呗。

几个billion的候选，给他十天半个月也算不出来呀。GPT做排序顶多做最后一步几百个的精排，前面粗排完全做不了。

Mark一下

匿名用户 发表于 2023-03-28 17:09:54
几个billion的候选，给他十天半个月也算不出来呀。GPT做排序顶多做最后一步几百个的精排，前面粗排完全做不了。

用gpt的embeddinging做retrieval呗。我觉得那个retrieval plugin有可能让做推荐系统变得非常容易。

harrybob 发表于 2023-3-28 20:19
用gpt的embeddinging做retrieval呗。我觉得那个retrieval plugin有可能让做推荐系统变得非常容易。

不行的，上千个token的documents他的embedding根本抓不住重点，有的时候token超过2k他也处理不了了，GPT不是为这个设计的，没有生成类的任务效果好，再说就算他的embedding好用，用embedding来retrival这个不也是传统推荐系统的东西吗，那些纯人工的公司也做不来这个呀。

匿名用户 发表于 2023-03-28 17:33:40
不行的，上千个token的documents他的embedding根本抓不住重点，有的时候token超过2k他也处理不了了，GPT不是为这个设计的，没有生成类的任务效果好，再说就算他的embeddin

gpt本身的embedding不行，但用contrastive objective finetune过的的embedding model是很好的。retrieval本身可以用pinecone这种现成的方案。

harrybob 发表于 2023-3-28 20:45
gpt本身的embedding不行，但用contrastive objective finetune过的的embedding model是很好的。retrieval ...

如果涉及到fine tune，再加上前面需要对documents用GPT做预处理，那么这些工作和前几年fine tune bert不是就一样了吗，工作还是那些工作，驾轻就熟，但是效果好很多，scope大很多，原来不能做的业务一下就能做了，原来不赚钱的业务一下就几倍利润，要说这些工作会被替代，那前几年fine tune bert的工作不也能被替代。

匿名用户 发表于 2023-03-28 17:52:49
如果涉及到fine tune，再加上前面需要对documents用GPT做预处理，那么这些工作和前几年fine tune bert不是就一样了吗，工作还是那些工作，驾轻就熟，但是效果好很多，scope

openai有finetune好的现成的embedding model，call api就行了。

现在每天的工作交给chatgpt,5分钟完成
然后就躺平了。

harrybob 发表于 2023-3-28 20:54
openai有finetune好的现成的embedding model，call api就行了。

bert finetuning也不难呀，难的是准备数据，验证之类的东西。而且至少我的实验里长文本分类问题直接finetune GPT效果很一般，还是得用GPT把长文本转成结构化文本，再用传统的模型来做效果更好。而且finetune GPT真的挺贵的，训练贵，用起来更贵。

匿名用户 发表于 2023-03-28 18:01:00
bert finetuning也不难呀，难的是准备数据，验证之类的东西。而且至少我的实验里长文本分类问题直接finetune GPT效果很一般，还是得用GPT把长文本转成结构化文本，再用传统的模型来做

但openai的各种api给了所有人一个又便宜又强的baseline。如果你自己in house finetune的模型比不过api的话就有可能被取代。