Textual Entailment for Effective Triple Validation in Object Prediction

要約

ナレッジ ベース ポピュレーションは、通常はテキスト コーパスから抽出される事実を使用してナレッジ グラフを拡張しようとします。
最近、大規模なコーパスで事前トレーニングされた言語モデルには、クローズスタイルの戦略を使用して取得できる事実の知識が含まれていることが示されました。
このようなアプローチにより、事実のゼロショットリコールが可能になり、教師付きベースラインと比較して物体予測において競合する結果が示されます。
ただし、プロンプトベースのファクト検索は脆弱で、使用されるプロンプトとコンテキストに大きく依存するため、意図しない結果や幻覚的な結果が生じる可能性があります。私たちは、テキスト含意を使用して、cloze ステートメントを通じて言語モデルから抽出されたファクトを検証することを提案します。
私たちの結果は、テキスト含意に基づく三重検証により、さまざまなトレーニング体制における言語モデルの予測が向上することを示しています。
さらに、含意ベースのトリプル検証は、名前付きエンティティが認識される既存のナレッジ グラフやテキストの一節など、他のソースから抽出された候補事実を検証するのにも効果的であることを示します。

要約(オリジナル)

Knowledge base population seeks to expand knowledge graphs with facts that are typically extracted from a text corpus. Recently, language models pretrained on large corpora have been shown to contain factual knowledge that can be retrieved using cloze-style strategies. Such approach enables zero-shot recall of facts, showing competitive results in object prediction compared to supervised baselines. However, prompt-based fact retrieval can be brittle and heavily depend on the prompts and context used, which may produce results that are unintended or hallucinatory.We propose to use textual entailment to validate facts extracted from language models through cloze statements. Our results show that triple validation based on textual entailment improves language model predictions in different training regimes. Furthermore, we show that entailment-based triple validation is also effective to validate candidate facts extracted from other sources including existing knowledge graphs and text passages where named entities are recognized.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google