重みを読む実験と、コードでモデルを改善する実験を区別する
これは何?モデルの重みは学習結果を保持する数値で、直接の読解とプログラムによる解析では検証している能力が異なります。
Matthew Honnibal氏は、前号で紹介した重み操作研究について、数値だけを読む小規模実験と、Pythonやモデル実行を使う実験の混同を批判しました。Qwen改善実験はPythonと最大50バッチの練習問題での実行を許しており、生の重みだけから改善した結果ではない、と指摘しています。
前号の紹介はQwen実験でのコード利用と評価フィードバックの条件を十分に説明していませんでした。勾配を使わないことと、実行結果による試行錯誤がないことを分けて読む必要があります。
- 読むべき人
- AI開発者・研究を読むエンジニア
- HN
- 830 points / 187 comments