Improving Certified Robustness via Statistical Learning with Logical Reasoning

要約

タイトル：「論理的推論を使った統計学習による認定された堅牢性の向上」

要約：

– 最近、複雑な機械学習モデルの堅牢性の迅速な改善を可能にするために、集中的なアルゴリズムの努力が払われています。
– しかし、現在の堅牢性認定方法は、限られた摂動半径の下でしか認証できません。
– 現在の純粋なデータ駆動型統計的アプローチはボトルネックに到達しているため、本論文では、マルコフ論理ネットワーク（MLN）を使用した論理ルールとして知識を統計的MLモデルと統合することで、全体的な認定された堅牢性をさらに向上させることを提案しています。
– これにより、このようなパラダイムの堅牢性を認定するという新しい研究課題が開かれます。特に、推論コンポーネント（MLNなど）の堅牢性の認証についての研究課題があります。
– この難易度の結果を導き出すことで、私たちは、異なるモデル領域を注意深く分析することによって、MLNの認定された堅牢性の最初の境界を導出します。
– 最後に、高次元の画像や自然言語テキストを含む5つのデータセットで広範な実験を行い、知識に基づく論理的推論による認定された堅牢性が、最新技術のものよりも明らかに優れていることを示します。

要約(オリジナル)

Intensive algorithmic efforts have been made to enable the rapid improvements of certificated robustness for complex ML models recently. However, current robustness certification methods are only able to certify under a limited perturbation radius. Given that existing pure data-driven statistical approaches have reached a bottleneck, in this paper, we propose to integrate statistical ML models with knowledge (expressed as logical rules) as a reasoning component using Markov logic networks (MLN, so as to further improve the overall certified robustness. This opens new research questions about certifying the robustness of such a paradigm, especially the reasoning component (e.g., MLN). As the first step towards understanding these questions, we first prove that the computational complexity of certifying the robustness of MLN is #P-hard. Guided by this hardness result, we then derive the first certified robustness bound for MLN by carefully analyzing different model regimes. Finally, we conduct extensive experiments on five datasets including both high-dimensional images and natural language texts, and we show that the certified robustness with knowledge-based logical reasoning indeed significantly outperforms that of the state-of-the-arts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI