Data Distribution Bottlenecks in Grounding Language Models to Knowledge Bases

要約

言語モデル (LM) は、自然言語と形式言語の両方を理解して生成する際に優れた能力をすでに実証しています。
これらの進歩にもかかわらず、大規模知識ベース (KB) などの実世界の環境との統合は依然として未開発の領域であり、意味解析や「幻覚」情報に耽溺するなどのアプリケーションに影響を与えています。
このペーパーは、LM が知識ベースの質問応答 (KBQA) を担当するときに遭遇する堅牢性の課題を明らかにすることを目的とした実験的調査です。
この調査では、目に見えないドメインへの一般化、さまざまな言語バリエーションへの適応、異なるデータセット間の転送可能性など、トレーニングと推論の間で一貫性のないデータ分布が発生するシナリオが対象となります。
私たちの包括的な実験により、私たちが提案するデータ拡張技術を使用した場合でも、高度な小規模言語モデルと大規模言語モデルがさまざまな面でパフォーマンスが低いことが明らかになりました。
LM は有望なテクノロジーですが、複雑な環境に対処する現在の形式の堅牢性は脆弱であり、データ分散の問題により実用性が限られています。
これには、データ収集と LM 学習パラダイムに関する将来の研究が必要です。

要約(オリジナル)

Language models (LMs) have already demonstrated remarkable abilities in understanding and generating both natural and formal language. Despite these advances, their integration with real-world environments such as large-scale knowledge bases (KBs) remains an underdeveloped area, affecting applications such as semantic parsing and indulging in ‘hallucinated’ information. This paper is an experimental investigation aimed at uncovering the robustness challenges that LMs encounter when tasked with knowledge base question answering (KBQA). The investigation covers scenarios with inconsistent data distribution between training and inference, such as generalization to unseen domains, adaptation to various language variations, and transferability across different datasets. Our comprehensive experiments reveal that even when employed with our proposed data augmentation techniques, advanced small and large language models exhibit poor performance in various dimensions. While the LM is a promising technology, the robustness of the current form in dealing with complex environments is fragile and of limited practicality because of the data distribution issue. This calls for future research on data collection and LM learning paradims.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google