中级农民
- 积分
- 281
- 大米
- 颗
- 鳄梨
- 个
- 水井
- 尺
- 蓝莓
- 颗
- 萝卜
- 根
- 小米
- 粒
- 学分
- 个
- 注册时间
- 2015-10-6
- 最后登录
- 1970-1-1
|
注册一亩三分地论坛,查看更多干货!
您需要 登录 才可以下载或查看附件。没有帐号?注册账号 
x
下面全是手写+AI Format润色为了流畅和连贯性
之前看过 MLA 怎么压 KV cache,当时觉得单 token 压到一千多字节已经挺省了。最近翻了下 DeepSeek-V3.2,看到他们在 128K 上下文里又给 MLA 套了一层稀疏注意力(DSA),每次只挑 2048 个历史 token 出来算。
我一开始没太想通:做稀疏注意力,常见做法都是把连续 64 或 128 个 token 绑成一个 block 一起取,这样 GPU 好做合并访存。它这种按单个 token 乱序挑 top-2048 的搞法,换成普通模型早卡死在显存随机读上了,为什么放在 MLA 里就能跑通?
先算下 128K 不做稀疏的账。
按 128 个 query heads,KV 压缩维,解耦 RoPE 维,全部用 BF16。单个 token 存下来的就是加:- (512 + 64) × 2 bytes = 1152 bytes
复制代码 单看一个 token 不大,但序列长的时候,单层 decode 一步要把历史全扫一遍:- 单层读取 = 131072 × 1152 bytes = 144 MiB
- 单层乘加 = 2 × 128 × 131072 × (576 + 512) ≈ 36.5 GFLOP
复制代码 60 多层算下来,每出一个词就得读差不多 9 GiB 显存。如果是 128K 的 prefill,就算展开成标准 MHA(Q/K 头维 192,V 头维 128),单层因果注意力算下来也要大概 704 TFLOP,序列翻倍计算量还是翻四倍。
那为什么以前做稀疏,大家更愿意按 block 挑,不太敢直接按单个 token 挑?
算一下算术强度就能看出来。稠密 FlashAttention 做 prefill 快,靠的是一个 CTA 把一块 K、V 搬进 shared memory 以后,相邻的 128 个 query token 可以一起复用这块数据,把 HBM 读取摊薄了。
一旦改成每个 query 自己挑 2048 个离散位置,相邻两个 query 挑出来的下标集合往往对不上,没法在 shared memory 里凑整块复用。极端点算,假设每个 query 挑的 2048 个位置完全不重合,如果是普通 128 头 MHA(,BF16),光算这一个 query 就要从显存里捞:- MHA 单 query 捞 2048 个 KV:
- 读取 = 2048 × 2 × 128 × 128 × 2 bytes = 128 MiB
- 计算 = 2 × 128 × 2048 × 256 ≈ 134 MFLOP
- 算术强度 ≈ 1.0 FLOP/byte
复制代码 哪怕是在 prefill 阶段,只要退化成单 token 乱序 gather,算术强度直接掉回跟单步 decode 一样的,Tensor Core 全在干等显存。换成 8 个 KV 头的 GQA,16 个 query 头共用一份 KV,算术强度也才,照样喂不饱现在的卡。
但 MLA 切到 MQA 模式(也就是权重吸收那种形态)就不一样了。同一个 token 的 128 个 query 头,读的是同一份和:- MLA (MQA 模式) 单 query 捞 2048 个潜向量:
- 读取 = 2048 × 1152 bytes = 2.25 MiB
- 计算 = 2 × 128 × 2048 × (576 + 512) ≈ 570 MFLOP
- 算术强度 ≈ 241.8 FLOP/byte
复制代码 就算不同 query 之间一点都复用不上,光靠当前这一个 token 自己的 128 个 head 在片上共享这数据,算术强度就已经拉到两百多了。我觉得这才是 DSA 敢直接做 token 级稀疏的前提。如果底座还是普通 MHA,前面挑得再准,后面 gather 这一步也得卡在带宽上。
接着看怎么从 128K 里把这 2048 个位置找出来。
挑的过程肯定得扫全量历史,所以这一步必须做得很轻。DSA 单独加了一个叫 Lightning Indexer 的小模块,64 个头(),每个头维度 128(),打分写成:- I(t, s) = Σ_{j=1..64} w_{t,j} · ReLU( q_{t,j}^I · k_s^I )
复制代码 注意这里的没有脚标。历史端这 64 个打分头共用同一个,而且直接量化成存进缓存。每个 token 只要多存,对比原来的 MLA 缓存,显存只多了出头。
再有就是中间直接用了,没用。扫 128K 全量历史的时候不碰超越函数,就不会去抢 GPU 上本来就不宽裕的 SFU,整段打分基本就是纯粹的矩阵乘。
把打分和后面的稀疏注意力合一块,再算一次 128K 单层 decode 的账:- 1. Indexer 扫 128K:
- 读 131072 × 128 B = 16.00 MiB(FP8)
- 算 2 × 64 × 131072 × 128 ≈ 2.15 GFLOP(FP8)
- 2. 主 MLA 算 top-2048:
- 读 2048 × 1152 B = 2.25 MiB(BF16)
- 算 2 × 128 × 2048 × 1088 ≈ 0.57 GFLOP(BF16)
复制代码 总读取从原来的降到,BF16 那边的计算量从降到。这里我只算了纯矩阵乘和缓存体积,实际跑起来还要加上对 128K 个分数取的开销,以及按离散下标去 paged cache 里取数的调度成本。
![]()
训练这块还有个挺绕的地方。只往后传下标,没选中的位置直接丢了,主模型的语言模型 loss 没法顺着离散下标把梯度传回给 Indexer。要是直接连在一起训,Indexer 的参数根本拿不到梯度。
他们的处理办法是把两边拆开。进 Indexer 之前先做,不让打分器的梯度传回主干 hidden states;同时拿主 MLA 算出来的各头注意力概率,沿 head 维加起来再做 L1 归一化,凑成一个目标分布,单独算一个来更新 Indexer。
具体训的时候分两段:先冻住主模型,开着全量稠密注意力跑一小段 warm-up,只训 Indexer 让它先对齐主模型原本的注意力分布;等找得差不多了,再打开放开全网一起训,这时候 KL 也只在挑出来的那 2048 个位置上算。
顺着刚才那笔账也能看出来,序列短的时候这东西是不划算的。比如上下文才两三千,基本等于全选,前面跑一遍 Indexer 反而多出几兆读写和一次。只有序列真拉到几万、十几万,前面那的索引成本才抵得过省下来的全量扫描。 |
上一篇: 【开源】让 Claude 看你的网球视频打分挑毛病,求地里球友试用拍砖
|