Verifiable Learning for Robust Tree Ensembles

要約

テスト時の回避攻撃に対する機械学習モデルの堅牢性を検証することは、重要な研究課題です。
残念ながら、これまでの研究では、この問題はデシジョン ツリー アンサンブルにとって NP 困難であるため、特定の入力に対しては扱いにくいことが判明しました。
この論文では、多項式時間で実行されるセキュリティ検証アルゴリズムを許可する、大規模拡散アンサンブルと呼ばれる決定木アンサンブルの制限されたクラスを特定します。
次に、検証可能な学習と呼ばれる新しいアプローチを提案します。これは、効率的な検証に適した、そのような制限されたモデル クラスのトレーニングを推奨します。
私たちは、ラベル付きデータから大規模なデシジョン ツリー アンサンブルを自動的に学習する新しいトレーニング アルゴリズムを設計することで、このアイデアの利点を示します。これにより、多項式時間でのセキュリティ検証が可能になります。
公開データセットの実験結果により、私たちのアルゴリズムを使用してトレーニングされた大規模アンサンブルは、標準的な商用ハードウェアを使用して数秒で検証できることが確認されています。
さらに、大規模に分散したアンサンブルは、非敵対的設定では許容できる精度の損失を犠牲にして、回避攻撃に対して従来のアンサンブルよりも堅牢です。

要約(オリジナル)

Verifying the robustness of machine learning models against evasion attacks at test time is an important research problem. Unfortunately, prior work established that this problem is NP-hard for decision tree ensembles, hence bound to be intractable for specific inputs. In this paper, we identify a restricted class of decision tree ensembles, called large-spread ensembles, which admit a security verification algorithm running in polynomial time. We then propose a new approach called verifiable learning, which advocates the training of such restricted model classes which are amenable for efficient verification. We show the benefits of this idea by designing a new training algorithm that automatically learns a large-spread decision tree ensemble from labelled data, thus enabling its security verification in polynomial time. Experimental results on public datasets confirm that large-spread ensembles trained using our algorithm can be verified in a matter of seconds, using standard commercial hardware. Moreover, large-spread ensembles are more robust than traditional ensembles against evasion attacks, at the cost of an acceptable loss of accuracy in the non-adversarial setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google