On What Basis? Predicting Text Preference Via Structured Comparative Reasoning

要約

比較推論はテキストの好みの予測において重要な役割を果たします。
ただし、大規模言語モデル (LLM) では、推論に一貫性がないことがよくあります。
思考連鎖のようなアプローチは他の多くの設定で精度を向上させますが、複雑なテキストの類似点と相違点を一貫して区別するのは困難です。
構造化された中間比較を生成することでテキストの好みを予測するプロンプト アプローチである SC を紹介します。
SC は比較の側面を提案することから始まり、続いて各側面の下でテキスト比較を生成します。
ペアワイズ整合性コンパレーターを使用して一貫性のある比較を選択します。これにより、各側面の比較によりテキスト間の違いが明確に区別され、幻覚が大幅に軽減され、一貫性が向上します。
要約、検索、自動評価など、さまざまな NLP タスクにわたる包括的な評価は、SC がテキストの好みの予測において最先端のパフォーマンスを達成するために LLM を装備していることを実証しています。

要約(オリジナル)

Comparative reasoning plays a crucial role in text preference prediction; however, large language models (LLMs) often demonstrate inconsistencies in their reasoning. While approaches like Chain-of-Thought improve accuracy in many other settings, they struggle to consistently distinguish the similarities and differences of complex texts. We introduce SC, a prompting approach that predicts text preferences by generating structured intermediate comparisons. SC begins by proposing aspects of comparison, followed by generating textual comparisons under each aspect. We select consistent comparisons with a pairwise consistency comparator that ensures each aspect’s comparisons clearly distinguish differences between texts, significantly reducing hallucination and improving consistency. Our comprehensive evaluations across various NLP tasks, including summarization, retrieval, and automatic rating, demonstrate that SC equips LLMs to achieve state-of-the-art performance in text preference prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google