📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 12348| 回复: 35
跳转到指定楼层
上一主题 下一主题
收起左侧

[老板相处] 老板让训练gpt,毫无经验的我该如何处理

   
🔗
匿名用户-M64D7  | 添加认证 | 2023-7-4 07:33:37 来自APP |倒序浏览

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
实在无法忍受一定要吐槽为快,并希望地里大佬指条明路。

我们组是做杀毒软件的组,因为之前一直表现不错,两年多就升到了senior,老板对我也很满意和信任。

老板对ai一无所知,但却十分热衷。之前已经有过启动一个新项目让训练一个分类模型,来区分是否是病毒。日常就是在说,把这个xxx(源文件)放到model里跑一下不就行了,我就要给他给他解释需要做数据处理吧啦吧啦. 之后总是没法自己训练模型,觉得不爽,让我把整个流程做成一个网页,他可以自己trigger一个retrain。

全凭学校学的三脚猫的功夫写了个七七八八,系统也搭好了,他突然说把这个priority调低,现在gpt流行,我们要抓住这个浪潮。说让我去做gpt。

我哪有任何nlp的经验啊,他又开始每天说,模型都是phd发明的,他们叫data scientist,我们做engineer的只需要坐享其成,拿了他们的模型,把源文件输入进去train一下就好。听的我满脸黑线。

. 1point 3acres 前几天亚历山大的在那做各种research,然后晨会的时候给他解释retrain不现实,我们只能fine tuning,做个prompt engineer。他又不高兴了,说不要,你对我的要求理解有误,我们就是要retrain,又说了一遍他的扔几个源文件到模型里train train的理论。

现在就是这么一个情况,我作为一个engineer,意愿上就不想做这个活;也知道自己没能力做这个活,并且也没有足够的资源做。在我看来这个怎么也需要一个team并且有很多支撑来做,现在老板就是让我一个人,别说任何资源了,甚至连gcp(我们会用的训练平台)的账户都是说我需要训练的时候再给我开。. ----

老板之前就会有一些micro management,搞走了几个阻力他不喜欢的人,但暂时对我还蛮好,怕如果拒绝或者泼他冷水,就会被穿小鞋。

现在真是进退两难,求大神指点

上一篇:非CS的教育经历要不要写在简历上
下一篇:L4 AS 升 L5 遭遇瓶颈
全局:
本帖最后由 微信用户_287929a 于 2023-7-3 20:06 编辑

你给他做个slides,告诉他train from scratch需要多少GPU hours,看他怎么说。如果是我,老板愿意拨资源让我学新东西我还挺高兴的。特别是AIGC现在这么火,你能放到简历上以后也能多些机会。
..
其实你看过就知道,train model 代码量非常小,主要就是数据集转换写写脚本,其他的部分几乎Hugging Face都帮你做好了。如果只是拿数据re-train或者fine-tune一个现有的模型,还真就是一个engineer几天能搞定的事情。

主要难点是训练时间和从哪里弄数据集的问题。

评分

参与人数 2大米 +2 收起 理由
光影流转 + 1 给你点个赞!
HazyDream + 1 赞一个

查看全部评分

回复

使用道具 举报

全局:
NLP的ds在这。很简单呀,有很多GPT的LoRA Finetuning 方法,一个40G显存的A100 GPU,一天就能训练好,代码100%现成的,只需要改一下你们自己的数据格式,你会用GPT就能训练。。。对于一个11B参数的T5来说Lora只调18M的参数,需要一个40G的A100显卡,然后给老板说,GPT这样的大模型,全部调需要大量数据和显卡,现在这个微调的看看效果怎么样。给demo就行了。

补充内容 (2023-07-04 08:37 +08:00):
就是老板要A,你认为A是不可能的就给个B,说B在大数据时代是A的一种。。。demo效果够好+原理上是gpt/llm能蹭到热度,你和老板应该都能满意的。

评分

参与人数 2大米 +2 收起 理由
gwizard + 1 太有才了!
光影流转 + 1 给你点个赞!

查看全部评分

回复

使用道具 举报

推荐
family2018 2023-7-4 08:17:58 | 只看该作者
全局:
不要和老板对着干,上个老板提**需求我当面怼回去,三年没给我升职。

评分

参与人数 1大米 +1 收起 理由
HazyDream + 1 赞一个

查看全部评分

回复

使用道具 举报

全局:
有点toxic,可以直接找工作重开了。
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-9RPVW  | 添加认证 | 2023-7-4 09:04:05
这不是你老板的问题,是你自己写code不行。你老板很有远见了。
回复

使用道具 举报

🔗
赤赤菌 2023-7-4 09:32:02 | 只看该作者
全局:
还看不明白吗?你的主人训的不是GPT,训的是你
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-GYNQG  | 添加认证 | 2023-7-4 09:43:01
什么公司?
回复

使用道具 举报

🔗
dayeye2006 2023-7-4 10:33:00 | 只看该作者
全局:
跟他说没有模型能吃得下一个程序的源代码这样长度的输入
回复

使用道具 举报

地里匿名用户
🔗
匿名用户-M64D7  | 添加认证 | 2023-7-4 13:46:35 来自APP
微信用户_287929a 发表于 2023-07-03 17:05:18
你给他做个slides,告诉他train from scratch需要多少GPU hours,看他怎么说。如果是我,老板愿意拨资源让我学新东西我还挺高兴的。特别是AIGC现在这么火,你能放到简历上以后
感谢回复。. Χ
做第一个ai项目(如果前面提到的算的话)感觉还挺开心的,也学了很多新东西。但是问题就是这些项目他没有资源能给。他对外都是闭口不谈,意思就是我们自己做,能做出来,下他们一跳,做不出来也没啥损失(然而对我来说就是没有产出)。最基本的钱(计算资源)目前都没有,甚至时间也是要在做完其他项目的工作之外找时间做,最近每天都在用自己的时间去学习- -
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
职场达人
  • ↑ 本版用于讨论职场各种干货话题,闲聊请去🔗聊聊或者🔗匿名版
  • ❌ 本版严禁水贴,引战,发布广告,拉群,贴个人联系方式,扣分无警告
  • ☑ 求职、面经等去 🔗北美求职和 🔗回国求职大区,刷题和学习请去 🔗终身学习大区
  • ☑ 请去专版发布 🔗内推, 🔗招聘信息,和讨论 🔗创业内容
  • ☑ PIP / DevList/ Need Support 等话题也已开设 🔗专版

本版积分规则

>
快速回复 返回顶部 返回列表