OpenAIとGoogleの新AI、ヌード生成を誘導される

背景

AI画像生成では、実在人物の同意なき性的画像（ディープフェイク）が深刻な問題になっている。OpenAIとGoogleは新しいAIモデルで、ヌードや性的コンテンツの生成を防ぐ安全対策（セーフガード）を設けていると説明してきた。

Ars Technicaが報じた研究者の指摘によれば、両社が展開する新モデルは特定の攻撃手法を使うことで、こうした防御を比較的簡単にすり抜けられる。

内容

記事の見出しと概要では、この攻撃手法によりOpenAIとGoogleのセーフガードに欠陥があることが明らかになったと伝えている。入力の工夫によってモデルを誘導すると、本来は拒否されるはずのヌード画像が出力される。研究者は、両社の最新モデルが短期間で突破される水準の防御にとどまると指摘している。なお、取得できた本文は冒頭の概要のみで、攻撃手法の技術的な詳細や両社の対応は確認できていない。

今後の影響

同意のない性的画像の生成は、規制当局やプラットフォームが対策を求める分野である。主要2社のモデルで防御の弱さが示されたことで、画像生成機能を業務に組み込む企業は、安全対策の実効性や悪用時の責任範囲を確認する必要が出てくる。