Improving Recall of Large Language Models: A Model Collaboration Approach for Relational Triple Extraction

要約

長文からトリプルの集合を出力する関係トリプル抽出は知識獲得において重要な役割を果たします。
大規模な言語モデルは、適切な指示が与えられた場合、数回の学習または微調整を通じて、単純な文からトリプルを正確に抽出できます。
ただし、複雑な文から抽出する場合は見逃してしまうことがよくあります。
この論文では、リレーショナル トリプル抽出タスク用に大規模な言語モデルと小規模なモデルを統合する評価フィルタリング フレームワークを設計します。
このフレームワークには、関連するエンティティのペアを高精度に抽出できる評価モデルが含まれています。
私たちは、モデルを構築するための単純なラベル付け原理とディープ ニューラル ネットワークを提案し、出力をプロンプトとして大規模モデルの抽出プロセスに埋め込みます。
我々は広範な実験を行って、提案された方法が大規模な言語モデル、特に複数の関係トリプルを含む複雑な文からより正確な抽出結果を取得するのに役立つことを実証します。
当社の評価モデルを従来の抽出モデルに組み込んで、複雑な文からの抽出精度を高めることもできます。

要約(オリジナル)

Relation triple extraction, which outputs a set of triples from long sentences, plays a vital role in knowledge acquisition. Large language models can accurately extract triples from simple sentences through few-shot learning or fine-tuning when given appropriate instructions. However, they often miss out when extracting from complex sentences. In this paper, we design an evaluation-filtering framework that integrates large language models with small models for relational triple extraction tasks. The framework includes an evaluation model that can extract related entity pairs with high precision. We propose a simple labeling principle and a deep neural network to build the model, embedding the outputs as prompts into the extraction process of the large model. We conduct extensive experiments to demonstrate that the proposed method can assist large language models in obtaining more accurate extraction results, especially from complex sentences containing multiple relational triples. Our evaluation model can also be embedded into traditional extraction models to enhance their extraction precision from complex sentences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google