Neuro-Symbolic Reasoning Shortcuts: Mitigation Strategies and their Limitations

要約

ニューロシンボリック予測子は、サブシンボリック入力から高レベルの概念へのマッピングを学習し、この中間表現に対して (確率論的) 論理推論を実行します。
このセットアップは、象徴的な事前知識との一貫性という点で明らかな利点を提供し、知識に準拠することにより、人間の利害関係者が学習した概念をよりよく理解できるという点で、解釈可能性の利点を提供するとしばしば信じられています。
ただし、このセットアップは、意図しないセマンティクスを持つ概念を活用することで予測が高い精度を達成し、分布外のパフォーマンスが低下し、解釈可能性が損なわれるという推論の近道の影響を受けることが最近示されました。
この短い論文では、推論のショートカットと損失関数の最適値との間の正式なリンクを確立し、推論のショートカットが発生する可能性がある状況を特定します。
これに基づいて、再構築や概念監視などの自然緩和戦略の限界について説明します。

要約(オリジナル)

Neuro-symbolic predictors learn a mapping from sub-symbolic inputs to higher-level concepts and then carry out (probabilistic) logical inference on this intermediate representation. This setup offers clear advantages in terms of consistency to symbolic prior knowledge, and is often believed to provide interpretability benefits in that – by virtue of complying with the knowledge – the learned concepts can be better understood by human stakeholders. However, it was recently shown that this setup is affected by reasoning shortcuts whereby predictions attain high accuracy by leveraging concepts with unintended semantics, yielding poor out-of-distribution performance and compromising interpretability. In this short paper, we establish a formal link between reasoning shortcuts and the optima of the loss function, and identify situations in which reasoning shortcuts can arise. Based on this, we discuss limitations of natural mitigation strategies such as reconstruction and concept supervision.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google