尝试从 LLM 推理学习系统设计

眼红 LLM 的大包 但是普通 SDE 也确实没啥机会染指 偶然接触到 LLM 推理引擎 Sglang 利用周末时间看源码 自己也手挫了一个猴版baby-sgl 来学习。收获良多，记录分享下学习的心得 期望能对自己的日常业务开发和能力提升有一些帮助

从 SDE 的视角看 Sglang
Sglang Runtime 和\"传统\"的 spark有相似之处。Engine + TokenizerManager 像 Spark Driver：负责接入/解析请求、维护全局状态。Scheduler 像 Executor：本地持有资源与状态（比如模型权重、KV cache），自回归地循环执行计算，在多个请求之间做切换，并把结果流式回传给上层

按照这个思路往下理解。传统分布式系统的优化 缓存 batch 异步 并行 调度都可以用上

比如：

• 为了降低排队延迟，引入 Continuous batching（静态调度改成动态）
• 为了减少内存碎片、引入 Paged Attention（把 KV cache 做成“分页/slot 化”的池）
• 为了请求间前缀复用，引入 Radix Attention（前缀缓存，用于多轮对话比如 agent 等场景）
• 用 1-token overlap schedule 减少 CPU 和 GPU 之间的强制等待（把 cpu 调度和 gpu 运行 尽量 overlap）
• Tensor Parallel 类似拆分存储大 Key（把一次计算拆到多卡并行）
• ... PD分离这些高级 feature 还没学到 ...
  

从 Sglang 学系统设计
从学习系统设计/面向对象设计的角度也可以有一些收获 类似几个问题

• 设计一个高并发小请求的自适应批处理服务（Continuous batching）
• 设计一个可变长 Buffer 的内存池（Paged Attention）
• 设计一个“前缀复用”的缓存/去重系统（Radix Tree + Longest Prefix Match）
• 设计一个异步流水线以隐藏 IO 等待（Overlap schedule）
  

斗胆猜测 LLM 推理系统的演进
缓存: 最容易想到的冷热数据多级缓存 确实已有实现 Sglang Hicache https://lmsys.org/blog/2025-09-10-sglang-hicache/
调度: 除了单机内部 req 调度 集群内也可以有一些类似操作 似乎也有实现 https://github.com/vllm-project/aibrix
cloud-native: 多租户，弹性扩缩容这些是不是也可以怼上

一些学习资源

除了sgl 本身，社区有很多mini 版本实现适合入门学习

https://github.com/GeeeekExplorer/nano-vllm

https://github.com/sgl-project/mini-sglang

我的猴版 https://github.com/baby-llm/baby-sglang

我上周末给智谱在vllm引入勒 glmasr

给我难受的够呛 然后hr告诉我不能远程

https://github.com/baby-llm/baby-sglang 欢迎交流学习 欢迎star！

微信用户_a74b39d 发表于 2025-12-31 03:43:00
我上周末给智谱在vllm引入勒 glmasr

给我难受的够呛 然后hr告诉我不能远程

你在国内吗？

Pattern 发表于 2025-12-31 07:38
你在国内吗？

USA

那个岗位是intern  是有个好大哥摁推的  面试官当时很着急 什么八股文都没问  就说glmasr要在1月份发版前能在vllm和sglang支持  sglang好大哥弄完勒 vllm我圣诞节两天弄完了  processing走的transformer不然很麻烦    反正现在vllm那边已经approval勒