言語モデルが重みを直接読み書きする実験
これは何?ニューラルネットワークの重みは、学習済みモデルの振る舞いを数値として保持するパラメーターです。
MIT CSAILのRikiya Takehi氏らは、GPT-6 Astraが生の重みから学習対象を推測し、勾配や実行時フィードバックなしに小さなネットワークを書けると報告しました。Qwen3.5-0.8Bの数学性能を改善する課題も示しますが、これは著者らの実験設定での結果です。
重みをブラックボックスの出力ではなく編集対象として扱えるなら、最適化と解釈可能性の手順が変わります。一方で、再現性、対象モデル、性能悪化の有無を個別に検証してから一般化する必要があります。
- 読むべき人
- 機械学習エンジニア・研究開発者
- HN
- 1302 points / 410 comments