Reasoning in Transformers – Mitigating Spurious Correlations and Reasoning Shortcuts

要約

Transformer 言語モデルは、論理的推論を必要とするものも含め、自然言語に関するさまざまなタスクに使用されるニューラル ネットワークです。
ただし、変圧器モデルはデータ内の偽のパターンを簡単に学習し、実際の推論をショートさせる可能性があります。
この論文では、a) 命題論理における近似推論、b) トレーニング データ内の偽の相関による既知の推論のショートカットの回避を行うために、トランスフォーマーをどの程度トレーニングできるかを調査します。
そのために、真実と、例えば、真実との間の偽の相関関係が知られているデータセットを使用します。
問題内のルールの数。
データを証明で強化し、2 つのモデルをトレーニングします。問題とその証明全体でトレーニングされた生成変換器 WP-BART と、個々の証明ステップでトレーニングされ、生成変換器モデルを組み合わせた神経記号モデル SIP-BART です。
シンボリックプルーフチェッカーを備えたBART。
SIP-BART は推論のショートカットを回避することに成功していますが、WP-BART は回避していないことがわかりました。
SIP-BART の場合、事前にトレーニングされた言語モデルの使用に起因する、これまで文献には記載されていない、いくつかの残りの推論エラーを特定します。
これらは定性的に分析され、4 つの異なるタイプの追加の落とし穴の分類が作成されます。

要約(オリジナル)

Transformer language models are neural networks used for a wide variety of tasks concerning natural language, including some that also require logical reasoning. However, a transformer model may easily learn spurious patterns in the data, short-circuiting actual reasoning. In this paper we investigate to what extent transformers can be trained to a) approximate reasoning in propositional logic while b) avoiding known reasoning shortcuts via spurious correlations in the training data. To do so, we use a dataset with known spurious correlation between truth and e.g. the number of rules in the problem. We augment the data with proofs, and train two models: a generative transformer, WP-BART, trained on problems and their whole proofs, and a neuro-symbolic model, SIP-BART, trained on individual proof steps and combining the generative transformer model BART with a symbolic proof checker. We find that SIP-BART succeeds in avoiding reasoning shortcuts, while WP-BART does not. For SIP-BART, we then identify a few remaining reasoning errors, not previously described in the literature, arising from using a pre-trained language model. These are qualitatively analysed to create a taxonomy of four different types of additional pitfalls.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google