Reliable Natural Language Understanding with Large Language Models and Answer Set Programming

要約

人間は文章から情報（意味）を抽出し、既存の常識知識と組み合わせ、推論して結論を​​導き出すことで言語を理解します。
GPT-3 や ChatGPT などの大規模言語モデル (LLM) は、テキスト内のパターンを活用してさまざまな NLP タスクを解決できますが、推論を必要とする問題には不十分です。
また、特定の質問に対して生成された回答を確実に説明することもできません。
人間をよりよくエミュレートするために、LLM と Answer Set Programming (ASP) を組み合わせたフレームワークである STAR を提案します。
LLM を使用して言語から知識 (述語として表される) を効果的に抽出する方法を示します。
次に、目標指向型 ASP を使用して、この知識を確実に推論します。
STAR フレームワークを、推論を必要とする 3 つの異なる NLU タスク (定性的推論、数学的推論、目標指向の会話) に適用します。
私たちの実験では、STAR が NLU タスクにおける推論のギャップを埋めることができ、特に小規模な LLM、つまりパラメーターの数が少ない LLM の場合に大幅なパフォーマンスの向上につながることが明らかになりました。
STAR フレームワークを使用して開発された NLU アプリケーションも説明可能です。生成された述語とともに、特定の出力に対して証明ツリーの形式で正当化を生成できます。

要約(オリジナル)

Humans understand language by extracting information (meaning) from sentences, combining it with existing commonsense knowledge, and then performing reasoning to draw conclusions. While large language models (LLMs) such as GPT-3 and ChatGPT are able to leverage patterns in the text to solve a variety of NLP tasks, they fall short in problems that require reasoning. They also cannot reliably explain the answers generated for a given question. In order to emulate humans better, we propose STAR, a framework that combines LLMs with Answer Set Programming (ASP). We show how LLMs can be used to effectively extract knowledge — represented as predicates — from language. Goal-directed ASP is then employed to reliably reason over this knowledge. We apply the STAR framework to three different NLU tasks requiring reasoning: qualitative reasoning, mathematical reasoning, and goal-directed conversation. Our experiments reveal that STAR is able to bridge the gap of reasoning in NLU tasks, leading to significant performance improvements, especially for smaller LLMs, i.e., LLMs with a smaller number of parameters. NLU applications developed using the STAR framework are also explainable: along with the predicates generated, a justification in the form of a proof tree can be produced for a given output.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google