Cloudflare、長文入力で他利用者のKVキャッシュが混入した原因を公開
これは何?Workers AIは、利用者の入力を受けて言語モデルを実行するCloudflareの推論サービスです。
Cloudflareは、GLM-5.3で8月27日〜9月9日に155件の応答へ他利用者のデータが混入したと報告しました。公称コンテキスト長より小さいKVキャッシュと、容量超過の拒否を処理途中で止めないSGLangの経路が重なり、以前のキャッシュを参照しました。9月9日の復旧前に容量設定と拒否処理を修正し、他モデルへの影響や意図的悪用の証拠は確認していないとしています。
HTTP成功とストリーミング完了だけでは要求の正しい処理を保証できません。分散した推論では転送したトークン数と予約数、メモリ所有権、拒否状態を境界ごとに検証する必要があります。
- 読むべき人
- ソフトウェア開発者・運用担当者
- HN
- 181 points / 79 comments