UFO: Unified Fact Obtaining for Commonsense Question Answering

要約

外部知識を活用して推論能力を高めることは、常識的な質問に答えるために非常に重要です。
しかし、既存の知識ベースは手動のアノテーションに大きく依存しており、世界的な常識知識の網羅性が不足することは避けられません。
したがって、知識ベースは、多様な質問に対する推論をサポートするのに十分な柔軟性を備えていません。
最近、大規模言語モデル (LLM) により、知識の取得と活用におけるインテリジェンスが劇的に向上し、言語モデルから知識を引き出すという問題に対処する新しい方法が開かれました。
我々は統一事実取得（UFO）アプローチを提案します。
UFO は LLM を知識源に変え、与えられた質問に関連する事実 (知識ステートメント) を生成します。
まず、常識のさまざまな側面とさまざまな質問スタイルをカバーするデモンストレーションで構成される統一プロンプトを作成します。
これに基づいて、プロンプトを通じてさまざまな常識的な質問に対する質問関連の裏付け事実を生成するように LLM に指示します。
ファクト生成後、高密度検索ベースのファクト選択戦略を適用して、最も一致するファクトを選択します。
この種の事実は、質問とともに回答推論モデルに入力されます。
特に、統一されたプロンプトの設計により、UFO はさまざまな常識的側面 (一般常識、科学的常識、社会的常識を含む) での推論をサポートできます。
CommonsenseQA 2.0、OpenBookQA、QASC、および Social IQA ベンチマークに関する広範な実験により、UFO が推論モデルのパフォーマンスを大幅に向上させ、手動で構築した知識ソースよりも優れたパフォーマンスを示すことが示されました。

要約(オリジナル)

Leveraging external knowledge to enhance the reasoning ability is crucial for commonsense question answering. However, the existing knowledge bases heavily rely on manual annotation which unavoidably causes deficiency in coverage of world-wide commonsense knowledge. Accordingly, the knowledge bases fail to be flexible enough to support the reasoning over diverse questions. Recently, large-scale language models (LLMs) have dramatically improved the intelligence in capturing and leveraging knowledge, which opens up a new way to address the issue of eliciting knowledge from language models. We propose a Unified Facts Obtaining (UFO) approach. UFO turns LLMs into knowledge sources and produces relevant facts (knowledge statements) for the given question. We first develop a unified prompt consisting of demonstrations that cover different aspects of commonsense and different question styles. On this basis, we instruct the LLMs to generate question-related supporting facts for various commonsense questions via prompting. After facts generation, we apply a dense retrieval-based fact selection strategy to choose the best-matched fact. This kind of facts will be fed into the answer inference model along with the question. Notably, due to the design of unified prompts, UFO can support reasoning in various commonsense aspects (including general commonsense, scientific commonsense, and social commonsense). Extensive experiments on CommonsenseQA 2.0, OpenBookQA, QASC, and Social IQA benchmarks show that UFO significantly improves the performance of the inference model and outperforms manually constructed knowledge sources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google