LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback

要約

最近の大規模言語モデル (LLM) は、人間のフィードバックを活用して生成品質を向上させています。
ただし、人間のフィードバックを取得するには、特に推論中にコストがかかります。
この研究では、LLM の出力を改良するための推論時間最適化手法である LLMRefine を提案します。
中心となるアイデアは、学習されたきめの細かいフィードバック モデルを使用して欠陥を特定し、LLM が繰り返し欠陥を改善できるようにガイドすることです。
LLMRefine は、編集の提案としてオリジナルの LLM を使用し、探索と活用をトレードオフして、シミュレートされたアニーリングによって欠陥のないテキストを検索します。
私たちは、機械翻訳、長文質問応答 (QA)、およびトピックの要約を含む 3 つのテキスト生成タスクについて実験を行います。
LLMRefine はすべてのベースライン アプローチを常に上回り、翻訳タスクで最大 1.7 MetricX ポイント、ASQA で 8.1 ROUGE-L、トピックの要約で 2.2 ROUGE-L の改善を達成しました。

要約(オリジナル)

Recent large language models (LLM) are leveraging human feedback to improve their generation quality. However, human feedback is costly to obtain, especially during inference. In this work, we propose LLMRefine, an inference time optimization method to refine LLM’s output. The core idea is to use a learned fine-grained feedback model to pinpoint defects and guide LLM to refine them iteratively. Using original LLM as a proposal of edits, LLMRefine searches for defect-less text via simulated annealing, trading off the exploration and exploitation. We conduct experiments on three text generation tasks, including machine translation, long-form question answering (QA), and topical summarization. LLMRefine consistently outperforms all baseline approaches, achieving improvements up to 1.7 MetricX points on translation tasks, 8.1 ROUGE-L on ASQA, 2.2 ROUGE-L on topical summarization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google