【論文読み】Fast Minimum-norm Adversarial Attacks through Adaptive Norm Constraints

NeurIPS 2021で発表された上記論文についてまとめます。

論文の概要

敵対的攻撃を行うために解く最適化問題は複雑なため、勾配ベースの手法は、たとえ攻撃対象のモデルがどのノルムに対して防御されているかわかっていたとしても、注意深くチューニング・初期化され、たくさんの反復を繰り返す必要があります。この論文では、$L_p(p=0, 1, 2, \infty)$ノルムについて最小の摂動を達成する敵対画像を生成する手法を提案します。提案手法はハイパラ選択に対して頑健で、敵対画像を初期点とする必要がなく、少ない反復で収束します。

論文の売り

1. ハイパラ探索をそれほど必要としない
2. 敵対画像を初期点とする必要がない（初期点を敵対画像にすると収束が早くなる）
3. それほど多くの反復を必要としない
4. 摂動サイズと計算時間の点で既存の$L_0, L_1, L_\infty$手法を上回る

キーポイント

1. ステップサイズの決め方
2. $\varepsilon_k$の決め方
3. マージンロス$\displaystyle L(x, y;\theta)=f(x)_y – \max_{i\neq y}f(x)_i$を目的関数としている

1. ステップサイズの決め方

いわゆるcos annealingという方法でステップサイズを決定します。

$\displaystyle \eta_k=\eta_{max}+\frac{1}{2}\left(\eta_0-\eta_{max}\right)\left(1+\cos\left(\frac{k\pi}{K}\right)\right)$

2. $\varepsilon_k$の決め方

$x_{k-1}$が敵対的画像ではなく、敵対画像が一度も見つかっていない場合は、決定境界までの距離を一次微分を使って線形近似し、
$$\displaystyle \varepsilon_k=\|\delta_{k-1}\|_p+\frac{L\left(x_{k-1}, y;\theta\right)}{\|\nabla L\left(x_{k-1}, y;\theta\right)\|_q}
$$のように設定します。

$x_{k-1}$が敵対的画像ではない場合は
$$
\varepsilon_k=(1+\gamma_k)\varepsilon_{k-1}
$$

それ以外の場合は
$$
\varepsilon_k=(1-\gamma_k)\varepsilon_{k-1}
$$

のように$\varepsilon_k$を決定します。敵対画像が見つかった場合には摂動サイズを小さく、見つからなかった場合には摂動サイズを大きく設定します。

3. マージンロス$\displaystyle L(x, y;\theta)=f(x)_y – \max_{i\neq y}f(x)_i$を目的関数としている

DDN (Decoupling Direction and Norm) はCE lossを目的関数として更新しますが、FMNはマージンロスを目的関数として採用しています。

※以下個人の意見です。CEロスを使う場合、正解クラスの予測確率最小化、もしくはtargetクラスの予測確率最大化のいずれか一方しか達成することができない。一方、マージンロスを使う場合、正解クラスとtargetクラスの予測確率の差を最大化することになるため、よりconfidenceの高い敵対画像を生成することにつながる、のではないか？

その他気になったところ

• DDNと同様、摂動の大きさと摂動の方向を独立して計算している
• どのノルムを使うか（pの値）によらず、摂動の更新は勾配を2ノルムで正規化した方向を使用している

参考文献

• 論文
• github