Can Go AIs be adversarially robust?

要約

これまでの研究では、KataGo のような超人的な囲碁 AI は、単純な敵対戦略によって敗北する可能性があることが判明しました。
この論文では、単純な防御によって KataGo の最悪の場合のパフォーマンスを改善できるかどうかを研究します。
私たちは、手動で構築した陣地での敵対的トレーニング、反復的な敵対的トレーニング、およびネットワーク アーキテクチャの変更という 3 つの自然な防御をテストします。
これらの防御策の一部は、以前に発見された攻撃から保護できることがわかりました。
残念ながら、これらの防御策のどれも適応型攻撃に耐えることができないこともわかりました。
特に、私たちは、人間ではできないような失敗をさせることで、私たちが守っているエージェントを確実に倒す新しい敵を訓練することができます。
私たちの結果は、Go のような狭い領域であっても、堅牢な AI システムの構築が困難であることを示唆しています。
インタラクティブな攻撃の例とコードベースへのリンクについては、https://go Attack.far.ai を参照してください。

要約(オリジナル)

Prior work found that superhuman Go AIs like KataGo can be defeated by simple adversarial strategies. In this paper, we study if simple defenses can improve KataGo’s worst-case performance. We test three natural defenses: adversarial training on hand-constructed positions, iterated adversarial training, and changing the network architecture. We find that some of these defenses are able to protect against previously discovered attacks. Unfortunately, we also find that none of these defenses are able to withstand adaptive attacks. In particular, we are able to train new adversaries that reliably defeat our defended agents by causing them to blunder in ways humans would not. Our results suggest that building robust AI systems is challenging even in narrow domains such as Go. For interactive examples of attacks and a link to our codebase, see https://goattack.far.ai.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google