mlxcelがLooped Transformer系でflat KV cacheを捨てmodel-owned stateを採用
mlxcelはIQuest-Coder Loopの2-pass decoderを実装し、同じ80層を同じ重みで2回通す構造に対して、各layerがpass 1のdense KVとpass 2の64-token rotating KVを別々に保持するModelOwnedSequenceStateを導入した。flatなVec<KVCache>では表現せず、snapshot/prefix cache・padded prefill・batched decodeなどはstate contractが未整備なため明示的に無効化している。
所感
looped/recurrent系の新アーキテクチャでは『各layerに1個のKV cache』というruntime前提が崩れる。独自MLX runtimeのStateBundleを最初からモデル固有のnested stateを持てる形にしておく根拠になる。一方この実装のMetal workspace gateは未実行で、今すぐモデル対応する必要まではない。