TurboFieldfareは、必要なMoE expertだけをSSDから読み、26Bモデルを約2GBの常駐メモリで動かす
これは何?TurboFieldfareは、Gemma 4 26B-A4B専用にSwiftとMetalで作られたApple Silicon向け推論ランタイムです。
Andrey Mikhaylov氏は、約1.35GBの共有部分とKVキャッシュをメモリに置き、各トークンで選ばれたMoE expertだけを約14.3GBのSSD上のモデルから読み込むTurboFieldfareを公開しました。8GBのM2 MacBook Airでは毎秒5.1〜6.3トークンを実測し、約2GBという値はモデル全体の保存容量ではなく実行時の常駐メモリ量です。macOS 26とMetal 4が必要で、現状は特定モデルのテキスト推論に限定されています。
モデルは全重みをRAMへ載せるという前提を外せますが、SSD遅延、機種差、モデル固有実装というコストが移ります。メモリ容量だけでなく、常駐部分、転送単位、キャッシュ命中率を分けて測る事例です。
- 読むべき人
- ローカルLLM開発者、推論基盤エンジニア、Apple Silicon向け最適化に関心がある開発者
- HN
- 877 points / 320 comments