📣 独立日限时特惠: VIP通行证立减$68
12
返回列表 发新帖
楼主: YangLoveXin
跳转到指定楼层
上一主题 下一主题
收起左侧

PyTorch Training Optimization 入门书籍

   
🔗
gudugudu 2026-1-12 08:44:17 | 只看该作者
全局:
有没有inference optimization的讨论
回复

使用道具 举报

🔗
 楼主| YangLoveXin 2026-1-12 09:10:26 | 只看该作者
全局:
gudugudu 发表于 2026-1-11 16:44
有没有inference optimization的讨论

暂时还没有看到相关的书籍,感觉可以参考一下 vllm 或者 sglang 里面的一些 inference 优化

还有一些业界的 paper 讲过的优化,比如 kernel fusion, request deduplication, quantization 等等
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表