Designing Algorithmic Delegates: The Role of Indistinguishability in Human-AI Handoff

要約

AI技術の進歩に伴い、人々はAIエージェントに仕事を任せることを望むようになってきている。多くの場合、人間の意思決定者は、直面している意思決定問題の特定のインスタンスの特性に基づいて、AIエージェントに委任するかどうかを選択する。人間は通常、与えられた意思決定インスタンスについて、この選択に関連するすべての要素を完全に認識することができないため、区別できないインスタンス（観察可能な特徴が同じもの）を同じものとして扱うことで、一種の分類を行っている。本論文では、カテゴリの存在下で最適なアルゴリズム委任を設計する問題を定義する。これは、人間と協働するアルゴリズムの設計において重要な次元であり、我々は、最適な委任者が、最適な単独のアルゴリズムエージェントよりも任意に優れたチームメイトになり得ることを示す。この最適委任問題の解は自明ではない。我々は、この問題が基本的に組み合わせ論的であることを発見し、単純な設定であっても最適設計と意思決定タスクの特性の間に複雑な関係があることを示す。実際、最適な委任者を見つけることは一般に計算上困難であることを示す。しかしながら、最適な行動が人間とアルゴリズムによって観測された特徴の関数に分解される場合など、この問題のいくつかの広いケースにおいて、最適な委任者を生成するための効率的なアルゴリズムを見つけることができた。最後に、我々は、実際にユーザに採用されるときのために最適化されたアルゴリズミックなデリゲートを、時間をかけて更新する設計者をシミュレートする計算実験を行い、このプロセスは一般に最適なデリゲートを回復しないが、結果として得られるデリゲートはしばしば非常にうまく機能することを示す。

要約(オリジナル)

As AI technologies improve, people are increasingly willing to delegate tasks to AI agents. In many cases, the human decision-maker chooses whether to delegate to an AI agent based on properties of the specific instance of the decision-making problem they are facing. Since humans typically lack full awareness of all the factors relevant to this choice for a given decision-making instance, they perform a kind of categorization by treating indistinguishable instances — those that have the same observable features — as the same. In this paper, we define the problem of designing the optimal algorithmic delegate in the presence of categories. This is an important dimension in the design of algorithms to work with humans, since we show that the optimal delegate can be an arbitrarily better teammate than the optimal standalone algorithmic agent. The solution to this optimal delegation problem is not obvious: we discover that this problem is fundamentally combinatorial, and illustrate the complex relationship between the optimal design and the properties of the decision-making task even in simple settings. Indeed, we show that finding the optimal delegate is computationally hard in general. However, we are able to find efficient algorithms for producing the optimal delegate in several broad cases of the problem, including when the optimal action may be decomposed into functions of features observed by the human and the algorithm. Finally, we run computational experiments to simulate a designer updating an algorithmic delegate over time to be optimized for when it is actually adopted by users, and show that while this process does not recover the optimal delegate in general, the resulting delegate often performs quite well.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL