Feeling Optimistic? Ambiguity Attitudes for Online Decision Making

要約

多くの意思決定問題は複雑であるため、ツリー検索アルゴリズムには、正確な遷移モデルを作成するための情報が不十分であることがよくあります。
その結果、曖昧さ（複数の妥当なモデルが存在する不確実性）が生じます。
曖昧さに直面して、多くの場合、妥当な遷移モデルのセットの下限を最大化することによって、安全な解決策を生み出すために堅牢な方法が使用されてきました。
しかし、不確実性の表現が意思決定にどの程度影響を与えるかを見落とすことがよくあります。
この研究では、Ambiguity Attitude Graph Search (AAGS) を導入し、意思決定における曖昧性をより包括的に表現することを提唱しています。
さらに、AAGS を使用すると、ユーザーは曖昧な態度 (または好み) を調整できるため、探索が促進され、一連のもっともらしい代替案に直面したときにエージェントがどのように対応すべきかを制御するユーザーの能力が向上します。
動的なセーリング環境でのシミュレーションは、高エントロピー遷移モデルを使用した環境が堅牢な手法を失敗に導く可能性があることを示しています。
さらに、結果は、曖昧な態度を調整することで、堅牢なアプローチのこの失敗モードを軽減しながら、目的をよりよく達成できることを示しています。
このアプローチは堅牢なフレームワークを一般化したものであるため、これらの結果は、曖昧さに焦点を当てたアルゴリズムがセーフティ クリティカルなシステムを超えてどのように適用可能であるかをさらに示しています。

要約(オリジナル)

Due to the complexity of many decision making problems, tree search algorithms often have inadequate information to produce accurate transition models. This results in ambiguities (uncertainties for which there are multiple plausible models). Faced with ambiguities, robust methods have been used to produce safe solutions–often by maximizing the lower bound over the set of plausible transition models. However, they often overlook how much the representation of uncertainty can impact how a decision is made. This work introduces the Ambiguity Attitude Graph Search (AAGS), advocating for more comprehensive representations of ambiguities in decision making. Additionally, AAGS allows users to adjust their ambiguity attitude (or preference), promoting exploration and improving users’ ability to control how an agent should respond when faced with a set of plausible alternatives. Simulation in a dynamic sailing environment shows how environments with high entropy transition models can lead robust methods to fail. Results further demonstrate how adjusting ambiguity attitudes better fulfills objectives while mitigating this failure mode of robust approaches. Because this approach is a generalization of the robust framework, these results further demonstrate how algorithms focused on ambiguity have applicability beyond safety-critical systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google