livenerf、公開後のmodel driftを事前登録で測る
これは何?livenerfは、同じmodel名で提供されるAIの能力が公開後に変化したかを、固定benchmarkと時系列統計で検出する独立projectです。
Claude Opus 5.5を30日間、凍結prompt、固定CLI、exact grader、control modelで測り、連続する2つの10日窓が99%区間、3 point以上、control非連動という条件を満たした場合だけ変化と判定します。現在はbaseline収集中で、劣化や改善の結論はまだ出していません。
provider側のrouting、effort、CLI、graderの変化はmodel driftと見分けにくい問題です。事前登録、陽性対照、raw log、検出限界の公開は、継続evalを運用する実践的な型になります。
- 読むべき人
- AI evaluation、LLMOps、coding agent、research担当
- HN
- 906 points / 383 comments