On the Pros and Cons of Active Learning for Moral Preference Elicitation

要約

計算による好みの導出方法は、特定の状況において人々の好みを定量的に学習するために使用されるツールです。
好みの引き出しに関する最近の研究では、エージェントの根底にある好みについて最も有益と思われるクエリ (コンテキスト固有のケース間の比較として構成) を反復的に構築する効率的な方法としてアクティブ ラーニングを提唱しています。
この研究では、道徳的選好を引き出すための能動学習の使用は、根底にある道徳的選好に関する特定の仮定に依存しており、実際にはそれが破られる可能性があると主張しています。
具体的には、次の共通の仮定を強調します。(a) 嗜好は時間の経過とともに安定しており、提示された一連のクエリの影響を受けません。(b) 道徳的嗜好をモデル化するために適切な仮説クラスが選択されます。(c) エージェントの応答のノイズは、
限定。
これらの仮定は、特定の分野での好みの引き出しには適切である可能性がありますが、道徳心理学に関する先行研究では、それらが道徳的判断には有効ではない可能性があることが示唆されています。
上記の仮定に違反する設定の合成シミュレーションを通じて、アクティブ ラーニングのパフォーマンスが、特定の設定では基本的なランダム クエリ選択方法と同等かそれよりも劣る可能性があることが観察されました。
しかし、シミュレーション結果は、不安定性やノイズの程度が比較的小さく、エージェントの好みが学習に使用される仮説クラスで近似的に表現できる場合には、能動学習が依然として実行可能であることも示しています。
私たちの研究は、実践における効果的な道徳的選好の引き出しに関連するニュアンスを強調し、道徳的選好を学習する方法論としてアクティブラーニングを慎重に使用することを提唱しています。

要約(オリジナル)

Computational preference elicitation methods are tools used to learn people’s preferences quantitatively in a given context. Recent works on preference elicitation advocate for active learning as an efficient method to iteratively construct queries (framed as comparisons between context-specific cases) that are likely to be most informative about an agent’s underlying preferences. In this work, we argue that the use of active learning for moral preference elicitation relies on certain assumptions about the underlying moral preferences, which can be violated in practice. Specifically, we highlight the following common assumptions (a) preferences are stable over time and not sensitive to the sequence of presented queries, (b) the appropriate hypothesis class is chosen to model moral preferences, and (c) noise in the agent’s responses is limited. While these assumptions can be appropriate for preference elicitation in certain domains, prior research on moral psychology suggests they may not be valid for moral judgments. Through a synthetic simulation of preferences that violate the above assumptions, we observe that active learning can have similar or worse performance than a basic random query selection method in certain settings. Yet, simulation results also demonstrate that active learning can still be viable if the degree of instability or noise is relatively small and when the agent’s preferences can be approximately represented with the hypothesis class used for learning. Our study highlights the nuances associated with effective moral preference elicitation in practice and advocates for the cautious use of active learning as a methodology to learn moral preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google