YouTube StudioのAIがコメント経由でプロンプト注入される報告
報告者は、YouTube StudioのAsk Studioが動画コメントを要約する際、攻撃者が後から編集したコメント内の指示をAI応答として実行できたと説明しています。さらに、その応答に攻撃者サイトへのリンクを作らせ、クリエイターがクリックすると非公開動画のタイトルをURLパラメータとして送れるPoCを示しています。
AI機能がコメント、レビュー、チケットなどの外部入力を読む場合、その入力を命令ではなくデータとして固定する設計が必要です。RAGや要約機能の安全性レビューでは、権限チェックだけでなく、モデル出力がリンク生成や外部送信の誘導に使われる経路も確認すべきです。
- 重要度
- high
- 読むべき人
- セキュリティエンジニア、動画/UGCサービス開発者、SRE
- HN
- 490 points / 275 comments