<
查看: 2014| 回复: 7
收起左侧

求问地里有没有会Fine Tune大神

本楼:   👍  0
0%
0%
0   👎
全局:   205
92%
8%
17

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
如题,突然对Fine Tune很感兴趣。但是这个非科班出身了解有限,求地里大神给多一点明细,此外想了解一下相关岗位!有哪些基础知识是需要补足的。非数学专业。

上一篇:地里有没有准备参加今年PyCon US的小伙伴?
下一篇:天哪,这篇文章静悄悄地震撼了!
janelll333 2024-4-17 08:16:11 来自APP | 显示全部楼层
本楼:   👍  1
100%
0%
0   👎
全局:   447
93%
7%
33
非大神,大概需要懂数据本身和要干的任务,能看懂当下一些pretrain好模型的结构,会改,会trim和增加复杂度。

如果你说的是LLM,你需要会超参的工具或者方法。



补充内容 (2024-04-17 08:17 +08:00):
哦最好懂why这么做会有帮助。
可能再懂点底层计算的逻辑会更好。

补充内容 (2024-04-17 08:20 +08:00):
最快的方式是看论文复现。
回复

使用道具 举报

八歧 2024-4-17 11:31:27 | 显示全部楼层
本楼:   👍  0
0%
0%
0   👎
全局:   1652
85%
15%
294
janelll333 发表于 2024-4-16 19:16
非大神,大概需要懂数据本身和要干的任务,能看懂当下一些pretrain好模型的结构,会改,会trim和增加复杂度 ...

fine tune干的活是重新训练参数一小部分吧 或者像lora那样的 hyperparameter那是训练模型时候的事
回复

使用道具 举报

janelll333 2024-4-17 11:37:12 来自APP | 显示全部楼层
本楼:   👍  0
0%
0%
0   👎
全局:   447
93%
7%
33
八歧 发表于 2024-04-16 20:31:27
fine tune干的活是重新训练参数一小部分吧 或者像lora那样的 hyperparameter那是训练模型时候的事
hyperparameter说白了是拿此技术的一些open source去改代码,部署,因为底层计算逻辑变了,会take long time,依然是调模型的方法。需要算力支持。
回复

使用道具 举报

 楼主| EenieMeenie 2024-4-17 12:00:10 来自APP | 显示全部楼层
本楼:   👍  0
0%
0%
0   👎
全局:   205
92%
8%
17
janelll333 发表于 2024-04-16 17:16:11
非大神,大概需要懂数据本身和要干的任务,能看懂当下一些pretrain好模型的结构,会改,会trim和增加复杂度。
如果你说的是LLM,你需要会超参的工具或者方
感谢回复,请问LLM超参的工具是什么?
回复

使用道具 举报

janelll333 2024-4-17 12:10:12 来自APP | 显示全部楼层
本楼:   👍  0
0%
0%
0   👎
全局:   447
93%
7%
33
EenieMeenie 发表于 2024-04-16 21:00:10
感谢回复,请问LLM超参的工具是什么?
你搜一下,我最近在研究optuna,这个我只看代码不敢跑,因为我没有稳定的gpu资源。
回复

使用道具 举报

 楼主| EenieMeenie 2024-4-17 15:42:56 来自APP | 显示全部楼层
本楼:   👍  0
0%
0%
0   👎
全局:   205
92%
8%
17
janelll333 发表于 2024-04-16 21:10:12
你搜一下,我最近在研究optuna,这个我只看代码不敢跑,因为我没有稳定的gpu资源。
ok谢谢回复
回复

使用道具 举报

qiulongquan 2024-4-30 09:46:28 | 显示全部楼层
本楼:   👍  0
0%
0%
0   👎
全局:   16
23%
77%
54
LLM训练还是 推荐使用  DeepSpeed 使用 zero3 方案 可能会减少显存使用
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

Advertisement
>
快速回复 返回顶部 返回列表