PyTorch Training Optimization 入门书籍

有没有inference optimization的讨论

gudugudu 发表于 2026-1-11 16:44
有没有inference optimization的讨论

暂时还没有看到相关的书籍，感觉可以参考一下 vllm 或者 sglang 里面的一些 inference 优化

还有一些业界的 paper 讲过的优化，比如 kernel fusion, request deduplication, quantization 等等