Feeling Optimistic? Ambiguity Attitudes for Online Decision Making

要約

多くの意思決定問題は複雑であるため、ツリー検索アルゴリズムには、正確な遷移モデルを作成するための情報が不十分であることがよくあります。
このような不確実性に直面したときに安全な意思決定を下すように設計された堅牢な手法は、不確実性の表現が意思決定の方法に与える影響を見落とすことがよくあります。
この研究では、Ambiguity Attitude Graph Search (AAGS) を導入し、意思決定における曖昧さ (一連のもっともらしいモデルからの不確実性) をより正確に表現することを提唱しています。
さらに、AAGS を使用すると、ユーザーはあいまいさに関する態度 (または好み) を調整できるため、探索が促進され、一連の有効な選択肢に直面したときにエージェントがどのように応答すべきかを制御するユーザーの能力が向上します。
動的なセーリング環境でのシミュレーションは、高度に確率的な環境が堅牢な手法の失敗につながる可能性があることを示しています。
さらに、結果は、曖昧な態度を調整することで、堅牢なアプローチのこの失敗モードを軽減しながら、目的をよりよく達成できることを示しています。
このアプローチは堅牢なフレームワークを一般化したものであるため、これらの結果は、曖昧さに焦点を当てたアルゴリズムがセーフティ クリティカルなシステムを超えてどのように適用可能であるかをさらに示しています。

要約(オリジナル)

Due to the complexity of many decision making problems, tree search algorithms often have inadequate information to produce accurate transition models. Robust methods, designed to make safe decisions when faced with these uncertainties, often overlook the impact expressions of uncertainty have on how the decision is made. This work introduces the Ambiguity Attitude Graph Search (AAGS), advocating for more precise representation of ambiguities (uncertainty from a set of plausible models) in decision making. Additionally, AAGS allows users to adjust their ambiguity attitude (or preference), promoting exploration and improving users’ ability to control how an agent should respond when faced with a set of valid alternatives. Simulation in a dynamic sailing environment shows how highly stochastic environments can lead robust methods to fail. Results further demonstrate how adjusting ambiguity attitudes better fulfills objectives while mitigating this failure mode of robust approaches. Because this approach is a generalization of the robust framework, these results further demonstrate how algorithms focused on ambiguity have applicability beyond safety-critical systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google