Atomic Inference for NLI with Generated Facts as Atoms

要約

最近の進歩により、ニューラル モデルはさまざまな自然言語タスクで人間レベルのパフォーマンスを達成できるようになりました。
ただし、これらのモデルからの説明が忠実である、つまりモデルの内部動作を反映しているという保証はありません。
アトミック推論はこの問題を克服し、解釈可能で忠実なモデル決定を提供します。
このアプローチには、解釈可能で決定論的なルールを使用して個々のアトムレベルの予測に基づいて全体的な予測を導き出す前に、インスタンスのさまざまなコンポーネント (またはアトム) に対する予測が含まれます。
私たちは、LLM によって生成されたファクトをアトムとして使用し、自然言語推論の前提をファクトのリストに分解することの有効性を調査します。
アトミック推論システムで生成されたファクトを直接使用すると、1) 多段階のファクト生成プロセス、2) ファクトを組み込んだトレーニング体制によりパフォーマンスが低下する可能性がありますが、ファクトベースの私たちの手法は他のアプローチよりも優れています。

要約(オリジナル)

With recent advances, neural models can achieve human-level performance on various natural language tasks. However, there are no guarantees that any explanations from these models are faithful, i.e. that they reflect the inner workings of the model. Atomic inference overcomes this issue, providing interpretable and faithful model decisions. This approach involves making predictions for different components (or atoms) of an instance, before using interpretable and deterministic rules to derive the overall prediction based on the individual atom-level predictions. We investigate the effectiveness of using LLM-generated facts as atoms, decomposing Natural Language Inference premises into lists of facts. While directly using generated facts in atomic inference systems can result in worse performance, with 1) a multi-stage fact generation process, and 2) a training regime that incorporates the facts, our fact-based method outperforms other approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google