Towards Logically Consistent Language Models via Probabilistic Reasoning

要約

大規模言語モデル (LLM) は、自然言語の理解と生成タスクの有望な場所です。
しかし、現在の LLM は信頼性からはほど遠いものです。LLM は非事実の情報を生成する傾向があり、さらに重要なことに、世界の信念について推論するよう求められた場合に矛盾する傾向があります。
これらの問題は現在、大規模な微調整によって、または一貫した推論を外部ツールに委任することによって対処されています。
この研究では、中間点を目指し、一連の事実とルールの形で外部知識と一貫性を保つことを LLM に教える、原則に基づいた確率論的推論に基づくトレーニング目標を導入します。
限られた事実セットで損失を微調整することで、LLM が以前のベースラインよりも論理的に一貫性を持つようになり、目に見えないが意味的に類似した事実知識をより体系的に推定できるようになります。

要約(オリジナル)

Large language models (LLMs) are a promising venue for natural language understanding and generation tasks. However, current LLMs are far from reliable: they are prone to generate non-factual information and, more crucially, to contradict themselves when prompted to reason about beliefs of the world. These problems are currently addressed with large scale fine-tuning or by delegating consistent reasoning to external tools. In this work, we strive for a middle ground and introduce a training objective based on principled probabilistic reasoning that teaches a LLM to be consistent with external knowledge in the form of a set of facts and rules. Fine-tuning with our loss on a limited set of facts enables our LLMs to be more logically consistent than previous baselines and allows them to extrapolate to unseen but semantically similar factual knowledge more systematically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google