Neuro-symbolic Rule Learning in Real-world Classification Tasks

要約

ニューロ記号規則学習は、純粋なニューラル モデルよりも解釈可能性が高く、記号規則学習よりも優れているため、多くの注目を集めています。
pix2rule という名前の最近のアプローチでは、フィードフォワード層を使用してシンボリック ルールを学習するためのニューラル分離正規形 (ニューラル DNF) モジュールが提案されています。
pix2rule は、合成バイナリ分類で効果的であることが証明されていますが、実際のデータに対するマルチラベル分類やマルチクラス分類などのより困難なタスクには適用されていません。
このホワイト ペーパーでは、ニューラル DNF モジュールを拡張して、(i) 現実世界のマルチクラスおよびマルチラベル分類タスクでのルール学習をサポートし、(ii) 相互排他性のシンボリック プロパティを適用する (つまり、正確に 1 つを予測する) ことによって、この制限に対処します。
クラス）マルチクラス分類、および（iii）大規模な入力と出力に対するスケーラビリティを調査します。
マルチラベル分類用のpix2ruleのニューラルDNFモジュールに似たバニラニューラルDNFモデルをトレーニングし、マルチクラス分類で相互排他性を強制するニューラルDNF-EO（Exactly One）と呼ばれる新しい拡張モデルを提案します。
ニューラル DNF ベースのモデルの分類パフォーマンス、スケーラビリティ、および解釈可能性を評価し、それらを純粋なニューラル モデルおよび FastLAS という名前の最先端のシンボリック ルール学習器と比較します。
ニューラル DNF ベースのモデルがニューラル ネットワークと同様に機能することを示しますが、論理ルールの抽出を可能にすることで、解釈可能性が向上します。
私たちのモデルは、200 クラスのマルチクラス分類タスクとすべてのマルチラベル設定で学習に失敗する FastLAS とは対照的に、ルール検索スペースのサイズが大きくなった場合にも適切にスケーリングされます。

要約(オリジナル)

Neuro-symbolic rule learning has attracted lots of attention as it offers better interpretability than pure neural models and scales better than symbolic rule learning. A recent approach named pix2rule proposes a neural Disjunctive Normal Form (neural DNF) module to learn symbolic rules with feed-forward layers. Although proved to be effective in synthetic binary classification, pix2rule has not been applied to more challenging tasks such as multi-label and multi-class classifications over real-world data. In this paper, we address this limitation by extending the neural DNF module to (i) support rule learning in real-world multi-class and multi-label classification tasks, (ii) enforce the symbolic property of mutual exclusivity (i.e. predicting exactly one class) in multi-class classification, and (iii) explore its scalability over large inputs and outputs. We train a vanilla neural DNF model similar to pix2rule’s neural DNF module for multi-label classification, and we propose a novel extended model called neural DNF-EO (Exactly One) which enforces mutual exclusivity in multi-class classification. We evaluate the classification performance, scalability and interpretability of our neural DNF-based models, and compare them against pure neural models and a state-of-the-art symbolic rule learner named FastLAS. We demonstrate that our neural DNF-based models perform similarly to neural networks, but provide better interpretability by enabling the extraction of logical rules. Our models also scale well when the rule search space grows in size, in contrast to FastLAS, which fails to learn in multi-class classification tasks with 200 classes and in all multi-label settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google