Explicit Inductive Inference using Large Language Models

要約

大規模言語モデル (LLM) は、推論タスクにおいて望ましくない証明バイアスを保持していると報告されています。前提 P が仮説 H を伴うかどうかを予測するように求められたとき、LLM は、P に伴う H の条件付き真実性を考慮する代わりに、アウトオブコンテキストを使用する傾向があります。
壊れやすい代理としてのHの真実のラベル。
この論文では、このバイアスを利用して明示的帰納推論を行うパイプラインを提案します。
私たちのパイプラインは、LLM を使用して前提を証明された代替案のセットに変換し、派生した新しい含意の問い合わせの回答を集約して、元の推論予測をサポートします。
方向述語含意ベンチマークでは、この単純なパイプラインを適用することで、推論における LLM の全体的なパフォーマンスを向上させ、証明バイアスの影響を大幅に軽減できることを実証します。

要約(オリジナル)

Large Language Models (LLMs) are reported to hold undesirable attestation bias on inference tasks: when asked to predict if a premise P entails a hypothesis H, instead of considering H’s conditional truthfulness entailed by P, LLMs tend to use the out-of-context truth label of H as a fragile proxy. In this paper, we propose a pipeline that exploits this bias to do explicit inductive inference. Our pipeline uses an LLM to transform a premise into a set of attested alternatives, and then aggregate answers of the derived new entailment inquiries to support the original inference prediction. On a directional predicate entailment benchmark, we demonstrate that by applying this simple pipeline, we can improve the overall performance of LLMs on inference and substantially alleviate the impact of their attestation bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google