Decoding Interpretable Logic Rules from Neural Networks

要約

ディープ ニューラル ネットワークがさまざまなドメインで優れた性能を発揮し続けるにつれて、そのブラックボックス的な性質により、透明性と信頼性に対する懸念が生じています。
特に、創薬、自動運転、ゲノミクスなど、高い安全性と厳密な知識が要求されるアプリケーションでは、解釈可能性がますます重要になっています。
しかし、完全接続ネットワークなどの最も単純なディープ ニューラル ネットワークでさえ、ResNet や Transformer などの最先端モデルの基礎要素としての役割を果たしているにもかかわらず、理解の進歩は限られています。
この論文では、ニューラル ネットワークから解釈可能な論理ルールをデコードするための新しいアプローチである NeuroLogic を導入することで、この課題に対処します。
NeuroLogic は、ニューラル活性化パターンを活用してモデルの重要な意思決定プロセスを捕捉し、それを隠れた述語で表される論理ルールに変換します。
NeuroLogic は接地段階での柔軟な設計のおかげで、幅広いニューラル ネットワークに適応できます。
単純な完全接続ニューラル ネットワークの場合、隠れ述語を元の入力特徴の特定の分割パターンに基づいて決定ツリーのようなルールを導き出すことができます。
大規模で複雑なビジョン ニューラル ネットワークの場合、NeuroLogic は隠された述語を人間が理解できる高レベルの視覚概念に基礎づけます。
私たちの実証研究は、NeuroLogic が ResNet などの最先端のモデルからグローバルで解釈可能なルールを抽出できることを実証していますが、これは既存の作業では困難な作業です。
私たちは、NeuroLogic がニューラル ネットワークのブラックボックスの性質を理解するための道を開くのに役立つと信じています。

要約(オリジナル)

As deep neural networks continue to excel across various domains, their black-box nature has raised concerns about transparency and trust. In particular, interpretability has become increasingly essential for applications that demand high safety and knowledge rigor, such as drug discovery, autonomous driving, and genomics. However, progress in understanding even the simplest deep neural networks – such as fully connected networks – has been limited, despite their role as foundational elements in state-of-the-art models like ResNet and Transformer. In this paper, we address this challenge by introducing NeuroLogic, a novel approach for decoding interpretable logic rules from neural networks. NeuroLogic leverages neural activation patterns to capture the model’s critical decision-making processes, translating them into logical rules represented by hidden predicates. Thanks to its flexible design in the grounding phase, NeuroLogic can be adapted to a wide range of neural networks. For simple fully connected neural networks, hidden predicates can be grounded in certain split patterns of original input features to derive decision-tree-like rules. For large, complex vision neural networks, NeuroLogic grounds hidden predicates into high-level visual concepts that are understandable to humans. Our empirical study demonstrates that NeuroLogic can extract global and interpretable rules from state-of-the-art models such as ResNet, a task at which existing work struggles. We believe NeuroLogic can help pave the way for understanding the black-box nature of neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google