ATLANTIC: Structure-Aware Retrieval-Augmented Language Model for Interdisciplinary Science

要約

大規模な言語モデルは、多くの自然言語処理タスクで優れたパフォーマンスを記録します。
ただし、彼らの知識容量はトレーニング前コーパスに限定されています。
検索拡張は、外部の知識ソースからコンテキストを取得して言語モデルを補完することにより、効果的なソリューションを提供します。
しかし、既存の検索拡張技術は、これらの文書間の構造的関係を無視しています。
さらに、検索モデルは、特に検索された文書の忠実性に関して、科学的タスクではあまり研究されていません。
この論文では、検索拡張中に文書構造に対応する、新しい構造認識型検索拡張言語モデルを提案します。
15 を超える科学分野 (例: 物理学、医学、化学など) の文書を結び付ける、複数のタイプの関係 (例: 引用、共著など) をキャプチャする異種文書グラフを作成します。
厳選されたドキュメント グラフ上でグラフ ニューラル ネットワークをトレーニングし、モデルの事前トレーニング中に取得された対応するパッセージの構造エンコーダーとして機能します。
特に、取得したパッセージのテキスト埋め込みとともに、ドキュメント (パッセージ) の構造的埋め込みを取得し、言語モデルに入力する前にそれらを融合します。
私たちは、科学の質問回答や科学文書の分類タスクなど、さまざまな科学ベンチマークでモデルを広範囲に評価します。
実験結果は、構造を意識した検索により、全体的な精度において同等のパフォーマンスを示しながら、より一貫性があり、忠実で文脈に関連した文章の検索が向上することを示しています。

要約(オリジナル)

Large language models record impressive performance on many natural language processing tasks. However, their knowledge capacity is limited to the pretraining corpus. Retrieval augmentation offers an effective solution by retrieving context from external knowledge sources to complement the language model. However, existing retrieval augmentation techniques ignore the structural relationships between these documents. Furthermore, retrieval models are not explored much in scientific tasks, especially in regard to the faithfulness of retrieved documents. In this paper, we propose a novel structure-aware retrieval augmented language model that accommodates document structure during retrieval augmentation. We create a heterogeneous document graph capturing multiple types of relationships (e.g., citation, co-authorship, etc.) that connect documents from more than 15 scientific disciplines (e.g., Physics, Medicine, Chemistry, etc.). We train a graph neural network on the curated document graph to act as a structural encoder for the corresponding passages retrieved during the model pretraining. Particularly, along with text embeddings of the retrieved passages, we obtain structural embeddings of the documents (passages) and fuse them together before feeding them to the language model. We evaluate our model extensively on various scientific benchmarks that include science question-answering and scientific document classification tasks. Experimental results demonstrate that structure-aware retrieval improves retrieving more coherent, faithful and contextually relevant passages, while showing a comparable performance in the overall accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google