IT用語入門：敵対的サンプル【わずかなノイズでAIを誤認させるデータ】

敵対的サンプルとは

敵対的サンプルとは、本物の画像や音声などにごく小さなノイズを加え、AIに誤った判定をさせるよう細工されたデータのことです。人の目や耳には違いがほとんど分からなくても、学習済みモデルの判断境界を突くことで、別物を同じと誤認させたり、同じ物を別と誤分類させたりします。たとえば、数ピクセルの乱れで物体認識が外れたり、微小な波形の合成で音声識別が誤ることがあります。

仕組みとしては、モデルが大量の特徴量に依存しており、一部の方向にわずかに揺らすだけで出力が大きく変わる脆弱性があるためです。対策としては、敵対的サンプルを含めて再学習するアドバーサリアル訓練や、平滑化・ノイズ除去などの前処理で影響を抑える方法が使われます。安全性やセキュリティを評価する重要な観点です。