📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 4963| 回复: 27
跳转到指定楼层
上一主题 下一主题
收起左侧

突然想学习了 - llm inference学习佛系打卡

   
💪 1
全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
就突然想学习了,学渣表示AI也用得手忙脚乱的,陷入了知识的通胀幻觉。接受了自己没法快速利用AI把知识塞进脑子里,还是老老实实按照大神的帖子来打卡慢慢学吧。
想学LLM inference。
按照大神的三层知识点:
  • serving (orchestration、request routing、scheduling、capacity management)
  • inference engine (batching、KV cache、prefill/decode、各种 memory / performance optimization)
  • compiler / kernel
非CS专业,虽然不知道从哪里开始,那就从compiler/kernel开始吧!
Reference: https://www.1point3acres.com/bbs/thread-1188659-1-1.html

评分

参与人数 1大米 +5 收起 理由
instant_dev + 5 给你点个赞!

查看全部评分


上一篇:DAY5 继续刷题!
下一篇:转行硬件开发
🎯 3
全局:
学llm inference建议先从vllm的论文开始学起,否则很多重要的概念你会不知所以然。看paper的同时,最好看一看nano vllm的代码来理解llm serving是怎么一回事。如果能把知识点给全吃透,那么你学的基本也就差不多了,但是学习曲线会很陡,需要做好心理准备。

paper在这里:https://arxiv.org/abs/2309.06180
vllm nano:https://github.com/GeeeekExplorer/nano-vllm

评分

参与人数 1大米 +5 收起 理由
韶华 + 5 谢谢分享!

查看全部评分

回复

使用道具 举报

推荐
 楼主| go4jobs 2026-10-10 14:15:15 | 只看该作者
全局:
今天瞄了眼LayoutAnnotation.cpp。tensor-ir提前把所有tensor的layout算好,后面再做计算。这里GPU的一个特点,shape:stride的layout中支持任意stride,也就是那些形状调整的算子,比如transpose, reshape……都可以直接通过修改layout stride(view)而省掉数据搬运,就像去图书馆按顺序拿一排书,方法一:先把书按顺序排好(需要除了“拿”之外的一个额外步骤)然后拿一排;方法二:一本一本按照顺序拿(需要很多寻址)。省了那些operation,引入一些新的问题比如寻址/向量化。不过只要硬件支持这样的任意寻址,其它的问题都能用软件解决;如果硬件不支持,那就是硬伤,软件也没法弥补。
回复

使用道具 举报

推荐
 楼主| go4jobs 2026-11-2 16:26:15 | 只看该作者
全局:
可以听雨和看书的周末无比幸福啊。看到一句很喜欢的话“大地上的秋天隆重得如国王登基的庆典”,很是应景。
休息好了继续看了会儿spill的前因后果:每个thread拿到自己的那份任务后(TMxTNx128),先是把需要的数据从DRAM里全部搬到shared memory里,然后4B一组一组地搬到register里计算,搬4B就算4B,暂时/很长一段时间内都不需要的数据立马free掉memory,需要的继续存在shared memory里。没法立即free掉的数据比较多的时候就会造成spill,放到L1/L2 cache/DRAM里去,需要的时候reload回来复用。如果tile太大,每个thread需要的data太多,shared memory放不下的时候,会把多出来的data切碎,直接按照4B一组一组地进register然后计算再park进cache,等这些多余的全部都park进cache了,剩下的直接load进shared memory里,按照正常算。这里一个问题是,register是thread-based的,所以data通过register搬进来进cache的即使是相同的数据也会有不同的address,会导致cache里有大量的duplicate。所以导出模型的时候,最好按照shared memory的大小来。
今天linkedin收到大厂compiler/model optimization岗位的reach out,像是在我家安了监控一样,我也是出息了啊,可惜还没入门。
回复

使用道具 举报

🔗
walkboy 2026-10-5 20:55:17 | 只看该作者
全局:
本帖最后由 walkboy 于 2026-10-5 07:56 编辑

楼主学了有什么打算不?别告诉我你就是喜欢学习
回复

使用道具 举报

🔗
 楼主| go4jobs 2026-10-6 11:23:00 | 只看该作者
全局:
Phenomenon. 发表于 2026-10-05 01:00:53
学llm inference建议先从vllm的论文开始学起,否则很多重要的概念你会不知所以然。看paper的同时,最好看一看nano vllm的代码来理解llm
好滴!就爱看这种好论文!万分感谢!版主大好人~
回复

使用道具 举报

🔗
 楼主| go4jobs 2026-10-6 11:24:56 | 只看该作者
全局:
walkboy 发表于 2026-10-05 05:55:17
楼主学了有什么打算不?别告诉我你就是喜欢学习
有是有,不过这都是后话,看能学成啥样吧,还是以学懂为主,不想本末倒置。
回复

使用道具 举报

🔗
 楼主| go4jobs 2026-10-6 12:38:51 | 只看该作者
全局:
还是选择了从compiler开始,因为这块最不熟悉,感觉难度最大。不管了,趁着还有兴趣的时候,想看点啥就看点啥吧。
今天看了MLIR论文第一遍,向ChatGPT老师请教了各个名词的意思,dialect\dag\IR\lowering\tablegen啥的,大概懂了10%?……好文章估计得后面重复看才理解得更好一点。anyway,好的开始是成功的一半!
MLIR论文链接:https://arxiv.org/pdf/2002.11054
回复

使用道具 举报

🔗
 楼主| go4jobs 2026-10-7 13:10:58 | 只看该作者
全局:
今天focus:compiler frontend。感谢Nvidia正好最近开源了tensor-ir。成功跑了demo(感谢CC让我不用再为了配置环境忙活半天),看了ir lowering的log过程;然后读了compile里面pipeline的代码,大概才读了1000行,终于知道compile是在干啥了,从mlir的输入到bytecode到cubin的lower过程。新概念get:tile/warp/CTA/sm。CC出来到现在差不多大半年没读过一行代码了,更别提c++,恍如隔世,又回到了读优质代码的朴素的快乐。
Nvidia compiler frontend:https://github.com/NVIDIA/tensor-ir
回复

使用道具 举报

全局:
go4jobs 发表于 2026-10-05 20:23:00
好滴!就爱看这种好论文!万分感谢!版主大好人~
完全同意。
同款学习方法
回复

使用道具 举报

全局:
搞一个残酷硬核AI学习的计划,可以讨论lol。不过你这个太高级了。。哈哈
回复

使用道具 举报

🔗
minami725 2026-10-7 16:44:07 | 只看该作者
🍗 2
全局:
先从Triton入手,把minivllm跑通,一步步来,你会慢慢建立起完整的知识体系的。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表