Online and Offline Learning of Player Objectives from Partial Observations in Dynamic Games

要約

現実世界に配置されたロボットは、環境内の他のエージェントと対話できなければなりません。
動的ゲーム理論は、エージェントが個別の目的を持ち、インタラクションが時間の経過とともに進化するシナリオをモデル化するための強力な数学的フレームワークを提供します。
ただし、このような手法の重要な制限は、すべてのプレイヤーの目的についての事前の知識が必要であることです。
この研究では、ノイズで破損した部分的な状態の観察から、継続的な動的ゲームにおけるプレーヤーの目的を学習するための新しい方法を提案することで、この問題に対処します。
私たちのアプローチは、各プレーヤーの未知のコスト パラメーターの推定と、ナッシュ均衡制約を介した未観察の状態および入力の推論を組み合わせることで目的を学習します。
過去の状態推定と将来の状態予測を組み合わせることで、私たちのアプローチは、後退地平線方式での同時オンライン学習と予測に適しています。
我々は、例えば望ましい移動速度や衝突回避行動などについてプレイヤーの好みを回復するいくつかのシミュレートされた交通シナリオで私たちの方法を実証します。
結果は、私たちの方法がノイズで破損したデータから、グラウンドトゥルースの目的に厳密に一致するゲーム理論モデルを確実に推定し、常に最先端のアプローチを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Robots deployed to the real world must be able to interact with other agents in their environment. Dynamic game theory provides a powerful mathematical framework for modeling scenarios in which agents have individual objectives and interactions evolve over time. However, a key limitation of such techniques is that they require a-priori knowledge of all players’ objectives. In this work, we address this issue by proposing a novel method for learning players’ objectives in continuous dynamic games from noise-corrupted, partial state observations. Our approach learns objectives by coupling the estimation of unknown cost parameters of each player with inference of unobserved states and inputs through Nash equilibrium constraints. By coupling past state estimates with future state predictions, our approach is amenable to simultaneous online learning and prediction in receding horizon fashion. We demonstrate our method in several simulated traffic scenarios in which we recover players’ preferences for, e.g., desired travel speed and collision-avoidance behavior. Results show that our method reliably estimates game-theoretic models from noise-corrupted data that closely matches ground-truth objectives, consistently outperforming state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google