Calibrating LLMs with Preference Optimization on Thought Trees for Generating Rationale in Science Question Scoring

要約

採点の決定を正当化する根拠を生成することは、自動採点システムの説明可能性を促進する有望な方法です。
ただし、既存の方法は分類子ベースの方法の精度には匹敵しません。
さらに、生成された理論的根拠には幻覚的な情報が含まれることがよくあります。
これらの問題に対処するために、私たちは、より忠実な理論的根拠を生成し、さらに重要なことに、分類子ベースのブラック ボックス スコアリング システムとパフォーマンスを一致させることができる新しいフレームワークを提案します。
まず、大規模言語モデル (LLM) にクエリを実行して思考ツリーを生成することで、人間の評価プロセスを模倣します。
次に、合成根拠データと根拠選好データを作成するために、各思考ツリー パスからの中間評価決定を要約します。
最後に、生成された合成データを利用して、教師あり微調整と設定の最適化という 2 段階のトレーニング プロセスを通じて LLM を調整します。
広範な実験結果は、人間の評価者や LLM によって認められるように、私たちのフレームワークが、より質の高い理論的根拠を生成しながら、以前の研究と比較して QWK スコアで 38% の評価パフォーマンスの向上を達成することを示しています。
私たちの研究は、思考ツリー パスから得られた合成選好データを使用して選好の最適化を実行する有効性を明らかにしています。

要約(オリジナル)

Generating rationales that justify scoring decisions has been a promising way to facilitate explainability in automated scoring systems. However, existing methods do not match the accuracy of classifier-based methods. Plus, the generated rationales often contain hallucinated information. To address these issues, we propose a novel framework capable of generating more faithful rationales and, more importantly, matching performance with classifier-based black-box scoring systems. We first mimic the human assessment process by querying Large Language Models (LLMs) to generate a thought tree. We then summarise intermediate assessment decisions from each thought tree path for creating synthetic rationale data and rationale preference data. Finally, we utilise the generated synthetic data to calibrate LLMs through a two-step training process: supervised fine-tuning and preference optimization. Extensive experimental results demonstrate that our framework achieves a 38% assessment performance improvement in the QWK score compared to prior work while producing higher-quality rationales, as recognised by human evaluators and LLMs. Our work sheds light on the effectiveness of performing preference optimization using synthetic preference data obtained from thought tree paths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google