Dynamic value alignment through preference aggregation of multiple objectives

要約

倫理的 AI システムの開発は現在、人間の目的に合わせた目的関数の設定に向けて進められています。
ただし、そのような関数を見つけることは依然として研究上の課題ですが、RL では手動で報酬を設定するのがかなり標準的なアプローチです。
我々は、複数の目的のアプローチを使用して、調整される値が動的に変化する動的値調整の方法論を提示します。
私たちは、このアプローチを適用してディープ $Q$ 学習を拡張し、複数の目的に対応し、スイッチング エージェントによって制御される単純化された 2 脚交差点でこの方法を評価します。私たちのアプローチは、システム上のドライバーの好みに動的に対応し、全体的なパフォーマンスの向上を実現します。
競合または競合するアクションを持つ目標を統合しながら、3 つの指標 (速度、停止、待機) を統合します。

要約(オリジナル)

The development of ethical AI systems is currently geared toward setting objective functions that align with human objectives. However, finding such functions remains a research challenge, while in RL, setting rewards by hand is a fairly standard approach. We present a methodology for dynamic value alignment, where the values that are to be aligned with are dynamically changing, using a multiple-objective approach. We apply this approach to extend Deep $Q$-Learning to accommodate multiple objectives and evaluate this method on a simplified two-leg intersection controlled by a switching agent.Our approach dynamically accommodates the preferences of drivers on the system and achieves better overall performance across three metrics (speeds, stops, and waits) while integrating objectives that have competing or conflicting actions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google