📣 黑五价提前开抢|VIP一年通行证5折,蓝莓、Offer多多同步特惠
查看: 236| 回复: 0
跳转到指定楼层
上一主题 下一主题
收起左侧

最近准备面试,把 DeepSeek-V3.2 稀疏注意力 DSA 算了一遍

全局:

注册一亩三分地论坛,查看更多干货!

您需要 登录 才可以下载或查看附件。没有帐号?注册账号

x
下面全是手写+AI Format润色为了流畅和连贯性
之前看过 MLA 怎么压 KV cache,当时觉得单 token 压到一千多字节已经挺省了。最近翻了下 DeepSeek-V3.2,看到他们在 128K 上下文里又给 MLA 套了一层稀疏注意力(DSA),每次只挑 2048 个历史 token 出来算。
我一开始没太想通:做稀疏注意力,常见做法都是把连续 64 或 128 个 token 绑成一个 block 一起取,这样 GPU 好做合并访存。它这种按单个 token 乱序挑 top-2048 的搞法,换成普通模型早卡死在显存随机读上了,为什么放在 MLA 里就能跑通?
先算下 128K 不做稀疏的账。
按 128 个 query heads,KV 压缩维
  1. d_c=512
复制代码
,解耦 RoPE 维
  1. d_r=64
复制代码
,全部用 BF16。单个 token 存下来的就是
  1. c_KV
复制代码
加
  1. k_R
复制代码
:
  1. (512 + 64) × 2 bytes = 1152 bytes
复制代码
单看一个 token 不大,但序列长
  1. S=131072
复制代码
的时候,单层 decode 一步要把历史全扫一遍:
  1. 单层读取 = 131072 × 1152 bytes = 144 MiB
  2. 单层乘加 = 2 × 128 × 131072 × (576 + 512) ≈ 36.5 GFLOP
复制代码
60 多层算下来,每出一个词就得读差不多 9 GiB 显存。如果是 128K 的 prefill,就算展开成标准 MHA(Q/K 头维 192,V 头维 128),单层因果注意力算下来也要大概 704 TFLOP,序列翻倍计算量还是翻四倍。
那为什么以前做稀疏,大家更愿意按 block 挑,不太敢直接按单个 token 挑?
算一下算术强度就能看出来。稠密 FlashAttention 做 prefill 快,靠的是一个 CTA 把一块 K、V 搬进 shared memory 以后,相邻的 128 个 query token 可以一起复用这块数据,把 HBM 读取摊薄了。
一旦改成每个 query 自己挑 2048 个离散位置,相邻两个 query 挑出来的下标集合往往对不上,没法在 shared memory 里凑整块复用。极端点算,假设每个 query 挑的 2048 个位置完全不重合,如果是普通 128 头 MHA(
  1. d_h=128
复制代码
,BF16),光算这一个 query 就要从显存里捞:
  1. MHA 单 query 捞 2048 个 KV:
  2. 读取 = 2048 × 2 × 128 × 128 × 2 bytes = 128 MiB
  3. 计算 = 2 × 128 × 2048 × 256 ≈ 134 MFLOP
  4. 算术强度 ≈ 1.0 FLOP/byte
复制代码
哪怕是在 prefill 阶段,只要退化成单 token 乱序 gather,算术强度直接掉回跟单步 decode 一样的
  1. 1 FLOP/byte
复制代码
,Tensor Core 全在干等显存。换成 8 个 KV 头的 GQA,16 个 query 头共用一份 KV,算术强度也才
  1. 16 FLOP/byte
复制代码
,照样喂不饱现在的卡。
但 MLA 切到 MQA 模式(也就是权重吸收那种形态)就不一样了。同一个 token 的 128 个 query 头,读的是同一份
  1. c_KV
复制代码
和
  1. k_R
复制代码
:
  1. MLA (MQA 模式) 单 query 捞 2048 个潜向量:
  2. 读取 = 2048 × 1152 bytes = 2.25 MiB
  3. 计算 = 2 × 128 × 2048 × (576 + 512) ≈ 570 MFLOP
  4. 算术强度 ≈ 241.8 FLOP/byte
复制代码
就算不同 query 之间一点都复用不上,光靠当前这一个 token 自己的 128 个 head 在片上共享这
  1. 2.25 MiB
复制代码
数据,算术强度就已经拉到两百多了。我觉得这才是 DSA 敢直接做 token 级稀疏的前提。如果底座还是普通 MHA,前面挑得再准,后面 gather 这一步也得卡在带宽上。
接着看怎么从 128K 里把这 2048 个位置找出来。
挑的过程肯定得扫全量历史,所以这一步必须做得很轻。DSA 单独加了一个叫 Lightning Indexer 的小模块,64 个头(
  1. H^I=64
复制代码
),每个头维度 128(
  1. d^I=128
复制代码
),打分写成:
  1. I(t, s) = Σ_{j=1..64} w_{t,j} · ReLU( q_{t,j}^I · k_s^I )
复制代码
注意这里的
  1. k_s^I
复制代码
没有脚标
  1. j
复制代码
。历史端这 64 个打分头共用同一个
  1. k_s^I
复制代码
,而且直接量化成
  1. FP8
复制代码
存进缓存。每个 token 只要多存
  1. 128 bytes
复制代码
,对比原来
  1. 1152 bytes
复制代码
的 MLA 缓存,显存只多了
  1. 11%
复制代码
出头。
再有就是中间直接用了
  1. ReLU
复制代码
,没用
  1. exp
复制代码
。扫 128K 全量历史的时候不碰超越函数,就不会去抢 GPU 上本来就不宽裕的 SFU,整段打分基本就是纯粹的
  1. FP8
复制代码
矩阵乘。
把打分和后面的稀疏注意力合一块,再算一次 128K 单层 decode 的账:
  1. 1. Indexer 扫 128K:
  2.    读 131072 × 128 B = 16.00 MiB(FP8)
  3.    算 2 × 64 × 131072 × 128 ≈ 2.15 GFLOP(FP8)
  4. 2. 主 MLA 算 top-2048:
  5.    读 2048 × 1152 B = 2.25 MiB(BF16)
  6.    算 2 × 128 × 2048 × 1088 ≈ 0.57 GFLOP(BF16)
复制代码
总读取从原来的
  1. 144 MiB
复制代码
降到
  1. 18.25 MiB
复制代码
,BF16 那边的计算量从
  1. 36.5 GFLOP
复制代码
降到
  1. 0.57 GFLOP
复制代码
。这里我只算了纯矩阵乘和缓存体积,实际跑起来还要加上对 128K 个分数取
  1. top-k
复制代码
的开销,以及按离散下标去 paged cache 里取数的调度成本。

训练这块还有个挺绕的地方。
  1. top-k
复制代码
只往后传下标,没选中的位置直接丢了,主模型的语言模型 loss 没法顺着离散下标把梯度传回给 Indexer。要是直接连在一起训,Indexer 的参数根本拿不到梯度。
他们的处理办法是把两边拆开。进 Indexer 之前先做
  1. stop_gradient
复制代码
,不让打分器的梯度传回主干 hidden states;同时拿主 MLA 算出来的各头注意力概率,沿 head 维加起来再做 L1 归一化,凑成一个目标分布
  1. p
复制代码
,单独算一个
  1. KL(p || Softmax(I))
复制代码
来更新 Indexer。
具体训的时候分两段:先冻住主模型,开着全量稠密注意力跑一小段 warm-up,只训 Indexer 让它先对齐主模型原本的注意力分布;等找得差不多了,再打开
  1. top-2048
复制代码
放开全网一起训,这时候 KL 也只在挑出来的那 2048 个位置上算。
顺着刚才那笔账也能看出来,序列短的时候这东西是不划算的。比如上下文才两三千,
  1. top-2048
复制代码
基本等于全选,前面跑一遍 Indexer 反而多出几兆
  1. FP8
复制代码
读写和一次
  1. top-k
复制代码
。只有序列真拉到几万、十几万,前面那
  1. 16 MiB
复制代码
的索引成本才抵得过省下来的全量扫描。

评分

参与人数 1大米 +1 收起 理由
匿名用户-LXMR1 + 1 给你点个赞!

查看全部评分


上一篇:【开源】让 Claude 看你的网球视频打分挑毛病,求地里球友试用拍砖
您需要登录后才可以回帖 登录 | 注册账号
隐私提醒:
  • ☑ 禁止发布广告,拉群,贴个人联系方式:找人请去🔗同学同事飞友,拉群请去🔗拉群结伴,广告请去🔗跳蚤市场,和 🔗租房广告|找室友
  • ☑ 论坛内容在发帖 30 分钟内可以编辑,过后则不能删帖。为防止被骚扰甚至人肉,不要公开留微信等联系方式,如有需求请以论坛私信方式发送。
  • ☑ 干货版块可免费使用 🔗超级匿名:面经(美国面经、中国面经、数科面经、PM面经),抖包袱(美国、中国)和录取汇报、定位选校版
  • ☑ 查阅全站 🔗各种匿名方法

本版积分规则

>
快速回复 返回顶部 返回列表