mle技术问题，现在active learning还在工业界有用吗？是都上few shot/zero shot了？

很好奇这一点，active learning因为有个需要人来标注参与的环节，效率上应该远不如few shot/zero shot learning吧？

现在还有做active learning的意义吗？新组让我做这个但我心里很虚。

我个人觉得大模型能解决的问题范围非常窄，基本仅限于帮忙润色一下文本，回一下邮件，聊天机器人啥的，凡是让它给出一点精确的解它就扑街了，所以不必太担心，大模型对绝大多数传统ML问题只是扩大了scope，并没有取代的能力

匿名用户 发表于 2023-10-16 16:57
active learning包含了让模型去大量未标注数据里挑选数据，然后annotater可以focus在这些模型上，annotate ...

不用担心，llm只是一个大型过拟合机器，它只能解决它见过的问题，generalize的能力有时甚至不如最基本的线性模型，大家在llm哼哧哼哧搞半天，绝大多数效果都赶不上拿大量数据训练出来的简单模型。我预测不了未来，但是现在的大模型，或者说基于transformer decoder的大模型，更像一个大玩具，解决实际问题的能力没有你想象的那么强。

补充内容 (2023-10-17 10:45 +08:00):

点踩的啥意思，随便举个例子，你让大模型算两个随机十几位数的乘法，看他能算对不，随便你用多少shot，然后你再用一个线性模型试试，喂十几个training sample，哪怕100以内的乘法，它就不可能再算错乘法。

epcilon 发表于 2023-10-16 18:50
不用担心，llm只是一个大型过拟合机器，它只能解决它见过的问题，generalize的能力有时甚至不如最基本的 ...

点踩的啥意思，随便举个例子，你让大模型算一个随机十几位数的乘法，看他能算对不，随便你用多少shot，然后你再用一个线性模型试试，喂十几个training sample就不可能算错。

epcilon 发表于 2023-10-16 10:22:51
我个人觉得大模型能解决的问题范围非常窄，基本仅限于帮忙润色一下文本，回一下邮件，聊天机器人啥的，凡是让它给出一点精确的解它就扑街了，所以不必太担心，大模型对绝大多数传统ML问题只是扩大了scope，并

嗯，其实我很想了解下active learning和few shot/one shot各自在科技公司项目里的应用场景，还是说其中一个已经被彻底ditched了？

匿名用户 发表于 2023-10-16 14:50
嗯，其实我很想了解下active learning和few shot/one shot各自在科技公司项目里的应用场景，还是说其中一 ...

我不是很懂Active Learning是什么意思，如果你说的就是找标注数据然后训练模型再release模型这种形式吗

att和bosch有人做，可是你是做research还是eng啊？这差别有点大

epcilon 发表于 2023-10-16 12:12:28
我不是很懂Active Learning是什么意思，如果你说的就是找标注数据然后训练模型再release模型这种形式吗

active learning包含了让模型去大量未标注数据里挑选数据，然后annotater可以focus在这些模型上，annotate完了再train的过程。

你可以理解为的场景是，你能收到大量data但都是没标注的，标注这些data需要时间，那有选择的标注一些最有帮助的。active learning最核心的就是如何select最有帮助的data。

但由于这里还是需要人工标注， 不知道是不是已经被时代淘汰了。

cw19 发表于 2023-10-16 13:57:22
att和bosch有人做，可是你是做research还是eng啊？这差别有点大

engineering。你说的bosch和att是啥？

就算训练是few shot, 那validation和test 还是要足量数据的。不然一是threshold不好确定，二是test report不准。而且few shot那一套多是基于大的nlp/cv domain open-source model，其他业务还是要自己train from scratch

Shot是什么意思，打枪不是要至少一发子弹么