# GDN single-token decodeをstate更新まで含む1 Metal launchへ融合

記録日: 2026-09-14
分類: TRY
正規URL: https://findings.yatabis.dev/findings/qwen36-fused-gdn-single-token/

## 概要

Rapid-MLXはQwen3.6-35B-A3Bのsingle-token GatedDeltaNetで、causal convolution、Q/K normalization、recurrent state update、gated RMSNormを1つのMetal kernelへ融合した。M3 Ultra 256GBのtext pathでdecodeは114.65から128.00 tok/s（+11.7%）となり、vision-capable pathへの同じ最適化では62.3から79.1 tok/s（+27.0%）。BF16 convolution cacheとFP32 recurrent stateを含む逐次stepでbit-exactを確認している。

## 所感

recurrent系は演算量より小さなlaunchとstate read/writeの連鎖がdecode律速になりやすい。MLX上でもprojection以外の1-step recurrenceを専用Metal kernelへまとめる価値が明確で、GDN系モデルの独自runtimeで優先度の高い実装候補になる。

タグ: MLX, Metal, GDN, recurrent-state, decode

## 情報源

- [Rapid-MLX \#3383: perf: fuse Qwen3.6 GDN single-token decode](<https://github.com/raullenchai/Rapid-MLX/pull/3383>) — GitHub
- [Rapid-MLX \#3391: perf: enable fused Qwen GDN decode for MLLM](<https://github.com/raullenchai/Rapid-MLX/pull/3391>) — GitHub