Coevolutionary Algorithm for Building Robust Decision Trees under Minimax Regret

要約

近年、最も広く採用されており、効率的で解釈可能な ML アルゴリズムの 1 つであるデシジョン ツリー (DT) を含む、敵対的な攻撃に耐えることができる堅牢な機械学習 (ML) モデルの開発への関心が高まっています。
この論文では、敵対的なコンテキストでノイズの多い高次元データを処理できる堅牢な DT を作成するように設計された新しい共進化アルゴリズム (CoEvoRDT) を提案します。
従来の DT アルゴリズムの制限を動機として、適応共進化を活用して、DT が進化し、摂動された入力データとの相互作用から学習できるようにします。
CoEvoRDT は、競合する DT 集団と摂動された特徴を交互に進化させ、望ましい特性を備えた DT の構築を可能にします。
CoEvoRDT は、さまざまなターゲット指標に簡単に適応できるため、ミニマックスリグレスなどのカスタマイズされたロバスト性基準の使用が可能になります。
さらに、CoEvoRDT は、他の最先端の手法の結果 (生成される DT) を初期集団に組み込み、共進化の過程で最適化することで、その結果を改善する可能性を秘めています。
ゲーム理論にインスピレーションを得た CoEvoRDT は、混合ナッシュ平衡を利用して収束を強化します。
この手法は 20 の人気のあるデータセットでテストされ、4 つの最先端のアルゴリズムと比較して優れたパフォーマンスを示しました。
これは、敵対的精度メトリクスを備えた 13 個のデータセットと、最小リグレスを備えた検討された 20 個のデータセットすべてで、競合するすべての手法を上回りました。
CoEvoRDT は、強力な実験結果と誤差測定の選択における柔軟性により、現実世界のアプリケーションで堅牢な DT を構築するための有望なアプローチとなっています。

要約(オリジナル)

In recent years, there has been growing interest in developing robust machine learning (ML) models that can withstand adversarial attacks, including one of the most widely adopted, efficient, and interpretable ML algorithms-decision trees (DTs). This paper proposes a novel coevolutionary algorithm (CoEvoRDT) designed to create robust DTs capable of handling noisy high-dimensional data in adversarial contexts. Motivated by the limitations of traditional DT algorithms, we leverage adaptive coevolution to allow DTs to evolve and learn from interactions with perturbed input data. CoEvoRDT alternately evolves competing populations of DTs and perturbed features, enabling construction of DTs with desired properties. CoEvoRDT is easily adaptable to various target metrics, allowing the use of tailored robustness criteria such as minimax regret. Furthermore, CoEvoRDT has potential to improve the results of other state-of-the-art methods by incorporating their outcomes (DTs they produce) into the initial population and optimize them in the process of coevolution. Inspired by the game theory, CoEvoRDT utilizes mixed Nash equilibrium to enhance convergence. The method is tested on 20 popular datasets and shows superior performance compared to 4 state-of-the-art algorithms. It outperformed all competing methods on 13 datasets with adversarial accuracy metrics, and on all 20 considered datasets with minimax regret. Strong experimental results and flexibility in choosing the error measure make CoEvoRDT a promising approach for constructing robust DTs in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google