OpenAI、研究組織で人1日あたりagent 3.1日分を計測
これは何?OpenAIのresearch acceleration調査は、coding agentがAI研究のcode作成、実験、技術支援へどう組み込まれたかを内部usageから測った自己報告です。
OpenAIは、熟練研究者なら数日かかる明確なtaskを人の指示下で進める「automated research intern」の9月目標に到達したと発表しました。8月半ばには研究組織で人の1 workdayあたり3.1 agent-workdaysを使い、実験数も増えましたが、計算資源の増加との切り分けはできず、4〜8時間相当の成功taskの半数超には人の介入がありました。
agent導入効果を出力量だけで評価すると、人の介入、計算資源、未自動化の判断を見落とします。成功率、介入率、事故時の停止能力を同じdashboardで追う必要があります。
- 読むべき人
- AI platform、研究基盤、engineering management、security担当者