LLM-Powered Preference Elicitation in Combinatorial Assignment

要約

私たちは、組み合わせの割り当てにおける好みの誘発（PE）を簡素化するための人間のプロキシとしての大規模な言語モデル（LLM）の可能性を研究しています。
従来のPEメソッドは、好みをキャプチャするために反復的なクエリに依存していますが、LLMSは人間の努力を減らしたワンショットの代替品を提供します。
SOTA ML駆動の優先順位の誘発スキームと連携して機能するLLMプロキシのフレームワークを提案します。
私たちのフレームワークは、応答の変動や計算コストの増加など、LLMによって導入された新しい課題を処理します。
よく研究されたコース割り当てドメインでの人間の質問に対するLLMプロキシの効率を実験的に評価し、成功に必要なモデル機能を調査します。
私たちのアプローチは、配分効率を最大20％改善し、これらの結果は異なるLLMにわたって堅牢であり、レポートの品質と精度の違いに対して堅牢であることがわかります。

要約(オリジナル)

We study the potential of large language models (LLMs) as proxies for humans to simplify preference elicitation (PE) in combinatorial assignment. While traditional PE methods rely on iterative queries to capture preferences, LLMs offer a one-shot alternative with reduced human effort. We propose a framework for LLM proxies that can work in tandem with SOTA ML-powered preference elicitation schemes. Our framework handles the novel challenges introduced by LLMs, such as response variability and increased computational costs. We experimentally evaluate the efficiency of LLM proxies against human queries in the well-studied course allocation domain, and we investigate the model capabilities required for success. We find that our approach improves allocative efficiency by up to 20%, and these results are robust across different LLMs and to differences in quality and accuracy of reporting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google