4b46d965385c は ggml_tri の除外要素を0/1比較値との乗算で処理する実装を、条件selectで0を書き込む実装へ変更。除外位置に±infを含む4種類の三角行列ケースを追加している。
attention maskやfused処理で、0倍による消去は非有限値を安全に除外できない。MLX独自kernelでもselectと算術maskの意味の差を確認する具体例になる。MLXに同じ不具合があるという主張ではない。
e01c9f1875e8 は FA vector kernel の出力scratch初期化を条件付きにし、DV4/NL が SIMD幅で割り切れない場合は tiisg < NL のlaneだけが初期化する。変更はthreadgroup側のso4への書込みであり、性能向上の測定結果ではない。
独自attention kernelでは計算本体だけでなく、head幅・SIMD lane分担・scratch初期化の組合せも境界検査の対象になる。MLXへの同一不具合の存在や移植後の安全性は未確認。
016c0c9ba5c6 は rows_exact の例外許容誤差を qmm_skinny_available() と非strictモードの両方が成立する場合だけに限定した。skinny pipelineを持たないdeviceではbit一致を要求し、NAX専用oracleはローカル実行対象として分離した。
batchと単行decodeの差異を、実際に選択されるkernel経路に結び付けて検証する設計。GDNのconv/SSM状態も含む比較に適用され、全deviceへ一律の許容誤差を与えて退行を隠すことを避けられる。実機検証は未実施。
b80d12a84ab4 はBF16重みからgroup 64のaffine u4コード・scale・biasを交互更新する変換ツールを追加した。BF16丸め後に元のmin-max解とgroup単位の二乗誤差を比較し、改善した解だけを採用。packingとtensor shape/dtypeを保持する。
kernelを変更せずに重み表現の誤差を減らす設計候補。負のscale、checkpoint名の対応、group境界と丸め後の誤差判定が移植時の論点になる。作者の限定checkpoint評価を一般的な品質・速度改善には拡張できない。
QuestKVCacheでqueryの正・負成分をGQA group軸に沿って別々に合計し、key blockの上限・下限との2回のmatmulからblock scoreを作る変更がmergeされた。従来broadcast式とのallCloseテストも追加。
MLX上で疎注意の選択処理を組む際、大きなbroadcast中間値を作る式をgroup集約とGEMMへ移す参考。 実数上の同じbound式でも浮動小数点の加算順は変わるため、僅差のblock順位と生成品質は別途確認が必要。KV全体はbase cacheへ保持しており、この変更だけでKV常駐量は減らない。上流テストは未実行、速度・メモリ削減量は未測定。
Metal radix Top-Kのatomic順序依存の出力compactionを置換。同点が残り枠を超える場合は列順のscanで小さいindexを選び、MTLの同点選択self-checkを有効にした。
MLXで疎attention indexerやMoE routingを最適化する際、同点の採用規則を実行順から切り離し、coalesced accessと両立させる具体例。 同一backend内の再現性とbackend間の一致は別。上流testは行内index集合を比較するため、順序一致までの検証ではない。上流に性能の自己報告もあるが、測定条件の揃った比較やローカル効果は今回未検証。ハードウェアの存在・対応はこのcommitの記述だけから認定しない。
Rust＋Metalのproject-obsidianを初回確認。prefillはlayerごとに全入力tokenのroutingを集め、選択expertのunionをSSDから一度読み、同じexpertへ割り当てたtoken行をgrouped GEMMへ渡す。
MLXのSSD expert streamingではI/O再利用とGEMM化を一緒に計画する参考になる。chunk長、union expert数、scratch行数をschedulerのmemory budgetへ結び付ける設計課題が見える。 初回観測であり今回のcommitが全機能を導入したという意味ではない。prefill poolは全expert数分を事前確保するため低memory保証にはならず、読込み関数はpreadのshort readを検出していない。移植前に容量制約とI/O失敗処理の確認が必要。作者の速度・同等性主張を再現したものではない。
ForwardにlastLogitOnlyを追加し、通常prefillは最後のtokenだけfinal RMSNormとLM headを実行する。logits scratchも必要行数へ分離し、従来の全行経路を投機検証用に残す。
MLX runtimeのExecutionPlanでKV更新に必要な全tokenと、出力projectionが必要な位置を分ける具体例。 CPU/CUDA中心の別実装から得た設計上の示唆。MLXの既存経路との差分と投機検証・logprobs要件の照合が必要。
Metal GROUP_NORMでne03の各batchをdispatchし、入出力strideをkernelへ渡す修正がmergeされた。flat/strided経路を分け、対応dtypeをF32へ限定する。
MLX独自kernelでもrow-contiguousとtensor全体の連続性を区別し、batch軸と入出力strideを正規化の契約に含める参考。 GroupNormを使うモデル・画像系runtimeの境界テストに使える。MLXに同じ不具合があるとは未確認。
int4 expert kernelのdispatch・fallback・参照実装へGeGLU選択を通し、Gemma 4 routerのper-expert scaleを保持するpatchを追加。Qwen3.5/3.6系ではgated shared expertを加算する。
MoE最適化でexpert GEMMだけでなくactivation・router重み・共有expertの意味論を維持する必要があることを、MLX上の具体的コードで確認できる。 tiny modelのglue同一性テストも取得。上流テストは今回実行しておらず、丸め・tie-breakによるstockとの出力差もあるため数値同等性や速度を保証しない。
GPU executorが直前stepの実時間を記録し、音声処理がその長さに応じた実行budgetと先行音声量を選ぶ変更がmergeされた。画像prefillにも進捗通知を追加した。
chunkサイズだけでなく、実測step時間と遅延に敏感な仕事のbuffer余裕をschedulerへ渡す設計例。 上流の固定閾値はその実装の選択でありMLXへの推奨値ではない。音声の途切れとTTFTのtradeoffがあり、解消保証やローカル測定はない。
layer-major prefill等を統合したrevisionで、expert読み込みbatchにmax_rows制約を追加。slot容量内でも割当行数がscratch上限を超えると分割し、span途中で切れた場合は次batchでspanを再読する。
SSD expert streamingでは常駐weight量だけでなくtoken-to-expert割当scratchもmemory planへ入れる必要がある。MLXのMoE prefill scheduler設計の参考。 単一bucketがmax_rowsを超える場合は単独batchを許すため、これだけで厳密なmemory capを証明しない。行splitと実scratch確保の整合確認が必要。速度やMLXへの直接適用は未検証。