MADDM: Multi-Advisor Dynamic Binary Decision-Making by Maximizing the Utility

要約

複数の不完全なアドバイザーの応答から真実を推測できることは、融資、取引、投資、クラウドソーシングなどの多くの意思決定アプリケーションにおいて非常に重要な問題です。
ただし、実際には、一連のアドバイザーから回答を集めるにはコストがかかります。
したがって、信頼できる答えを取得し、全体的な有用性を最大化するアドバイザー選択戦略を見つけることは、困難な問題です。
この問題に対処するために、時間をかけて複数の意思決定を行う必要がある逐次的な二者択一の意思決定環境においてアドバイザーのセットを最適に選択するための新しい戦略を提案します。
重要なのは、真実へのアクセスやアドバイザーの信頼性に関する事前知識がないことを前提としているということです。
具体的には、(1)アドバイザーのコストと正しい意思決定の価値をバランスさせてアドバイザーを選定すること、(2)複数のアドバイザーに質問することで事前情報なしでアドバイザーの信頼性を動的に学習すること、(3)最適なアドバイザーを選択することを同時に行う方法を考えたアプローチです。
グラウンドトゥルースにアクセスせずに意思決定を行うため、時間の経過とともにこれが改善されます。
いくつかの数値実験を通じてアルゴリズムを評価します。
結果は、私たちのアプローチが、最先端のモデルを組み合わせた他の 2 つの方法よりも優れていることを示しています。

要約(オリジナル)

Being able to infer ground truth from the responses of multiple imperfect advisors is a problem of crucial importance in many decision-making applications, such as lending, trading, investment, and crowd-sourcing. In practice, however, gathering answers from a set of advisors has a cost. Therefore, finding an advisor selection strategy that retrieves a reliable answer and maximizes the overall utility is a challenging problem. To address this problem, we propose a novel strategy for optimally selecting a set of advisers in a sequential binary decision-making setting, where multiple decisions need to be made over time. Crucially, we assume no access to ground truth and no prior knowledge about the reliability of advisers. Specifically, our approach considers how to simultaneously (1) select advisors by balancing the advisors’ costs and the value of making correct decisions, (2) learn the trustworthiness of advisers dynamically without prior information by asking multiple advisers, and (3) make optimal decisions without access to the ground truth, improving this over time. We evaluate our algorithm through several numerical experiments. The results show that our approach outperforms two other methods that combine state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google