SPICA: Retrieving Scenarios for Pluralistic In-Context Alignment

要約

異なるグループの値が異なる場合、モデルを調整する 1 つのアプローチは、推論時に各グループの好みに合わせてモデルを操作することです。
ただし、コンテキスト内学習などの手法では、数ショットの例を描画する場合の類似性のみが考慮され、グループ間の値の違いは考慮されません。
我々は、コンテキスト内の例の検索中にグループレベルの差異を考慮するフレームワークである SPICA を提案します。
SPICA では、シナリオ バンク、グループ情報に基づいた検索メトリクス、およびコンテキスト内の調整プロンプトという 3 つの設計が導入されています。
4 つの人口統計グループ ($n = 544$) から入力を収集する調整タスクでの SPICA の評価から、私たちのメトリクスは、例を示すために複数の対照的な応答を使用する最適なプロンプト構成を使用して、観察された好みによりよく一致するコンテキスト内の例を取得します。
エンドツーエンドの評価 ($n = 120$) では、SPICA が類似性に基づく検索よりも高く評価されており、グループでは 5 ポイント スケールで最大 +0.16 ポイントの改善が見られることがわかりました。
さらに、SPICA からの利益はより均一であり、一部のグループだけではなく、すべてのグループが連携から恩恵を受けました。
最後に、グループに依存しないアプローチは集計値に合わせることができますが、発散するグループには最適ではないことがわかりました。

要約(オリジナル)

When different groups’ values differ, one approach to model alignment is to steer models at inference time towards each group’s preferences. However, techniques like in-context learning only consider similarity when drawing few-shot examples and not cross-group differences in values. We propose SPICA, a framework that accounts for group-level differences during in-context example retrieval. SPICA introduces three designs: scenario banks, group-informed retrieval metrics, and in-context alignment prompts. From an evaluation of SPICA on an alignment task collecting inputs from four demographic groups ($n = 544$), our metrics retrieve in-context examples that more closely match observed preferences, with the best prompt configuration using multiple contrastive responses to demonstrate examples. In an end-to-end evaluation ($n = 120$), we observe that SPICA is higher rated than similarity-based retrieval, with groups seeing up to a +0.16 point improvement on a 5 point scale. Additionally, gains from SPICA were more uniform, with all groups benefiting from alignment rather than only some. Finally, we find that while a group-agnostic approach can align to aggregated values, it is not most suited for divergent groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google