oMLXでDeepSeek V4.1のCED prefill省略がM3 Ultra実測+63%
oMLXのdraft PR #3607は、DeepSeek V4.1 FlashのCausal Encoder-Decoder構造を利用し、prefill時にdecoder後半のattentionとMoEを末尾のsliding-window tokenだけへ限定する実装を追加した。M3 Ultra 512GBとoQ4e-mtpで21.4K tokenのcold prefillが約430 tok/sから約700 tok/sへ63%向上し、DSpark decodeのacceptanceは概ね維持された。
所感
CEDが単なる論文上のactive-parameter削減ではなく、Apple Siliconのローカルruntimeでprefill計算そのものを大きく省略できることを示す初期実装。input-heavyなagent workloadでは将来のTTFTを大きく縮めうる。一方で現状はdraft、単一機種・単一モデルの開発者実測で、bounded replayは末尾queryの初期windowを近似するため広範な品質検証がなく、M4 Pro 64GBにはモデル自体が収まらない。