SPRI: Aligning Large Language Models with Context-Situated Principles

要約

特に複雑な人間の監視を必要とするタスクのために、人間の価値を統合して反映するために大規模な言語モデルを調整することは、リソース集約的で時間がかかるため、文脈固有のガイダンスのために人間の専門知識に依存することは困難です。
以前の研究では、事前に定義されたルールまたは原則のセットを利用して、モデルの動作を操縦しました（Bai et al。、2022; Sun et al。、2023）。
ただし、これらの原則は一般的である傾向があるため、個々の入力クエリまたはコンテキストに適応することは困難です。
この作業では、各入力クエリに対してガイドの原則をリアルタイムで自動的に生成するように設計された最小限または人間の努力を必要とするフレームワークである状況に基づいた原理（SPRI）を提示し、それらを利用して各応答を整列させます。
3つのタスクでSPRIを評価し、1）SPRIが専門家のパフォーマンスにつながる複雑なドメイン固有のタスクで原則を導き出すことができることを示します。
2）SPRIが生成した原理は、以前のLLMとしてのJudge As-a-Judgeのフレームワークを上回るインスタンス固有のルーブリックにつながります。
3）SPRIを使用して合成SFTデータを生成すると、真実性が大幅に改善されます。
https://github.com/honglizhan/spri-publicでコードとモデルの世代をリリースします。

要約(オリジナル)

Aligning Large Language Models to integrate and reflect human values, especially for tasks that demand intricate human oversight, is arduous since it is resource-intensive and time-consuming to depend on human expertise for context-specific guidance. Prior work has utilized predefined sets of rules or principles to steer the behavior of models (Bai et al., 2022; Sun et al., 2023). However, these principles tend to be generic, making it challenging to adapt them to each individual input query or context. In this work, we present Situated-PRInciples (SPRI), a framework requiring minimal or no human effort that is designed to automatically generate guiding principles in real-time for each input query and utilize them to align each response. We evaluate SPRI on three tasks, and show that 1) SPRI can derive principles in a complex domain-specific task that leads to on-par performance as expert-crafted ones; 2) SPRI-generated principles lead to instance-specific rubrics that outperform prior LLM-as-a-judge frameworks; 3) using SPRI to generate synthetic SFT data leads to substantial improvement on truthfulness. We release our code and model generations at https://github.com/honglizhan/SPRI-public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google