Human adaptation to adaptive machines converges to game-theoretic equilibria

要約

タイトル「人間の適応は、適応型機械とのゲーム理論の均衡へ収束する」要約は以下の通りです。
– 適応型機械は、認知的意思決定から物理装置の支援に至るまで、様々な文脈で人間の行動を支援または妨げる可能性がある。
– こうした場合、機械学習アルゴリズムがどのように人間の行動に影響を与えるかを理解することが重要である。
– 環境に適応型機械が含まれる場合、人間と機械はゲームをプレイするため、人間は明示的および暗黙的な戦略を組み合わせて自らの環境に適応する。
– 既存の手法は、個々の人間の適応が適応型機械との相互作用によってどのように影響を受けるかを検証することなく仮定しているため、実験的に検証することが必要である。
– 本研究では、機械学習アルゴリズムを用いて人間との対戦ゲームをプレイする適応型機械を試行した。
– このアルゴリズムは、人間の行動観察から直接的に作業空間と方針空間のゲーム理論の均衡から共同適応的な相互作用の結果を選択できる。
– 一つのアルゴリズムが、人間が自らが認識するコストのランドスケープに最適に応じる一方で、人間-機械相互作用を操ることができることがわかった。
– 結果として、ゲーム理論を用いることで、知的な人間と機械の共同適応相互作用の結果を予測および設計することが可能であることが示唆された。

要約(オリジナル)

Adaptive machines have the potential to assist or interfere with human behavior in a range of contexts, from cognitive decision-making to physical device assistance. Therefore it is critical to understand how machine learning algorithms can influence human actions, particularly in situations where machine goals are misaligned with those of people. Since humans continually adapt to their environment using a combination of explicit and implicit strategies, when the environment contains an adaptive machine, the human and machine play a game. Game theory is an established framework for modeling interactions between two or more decision-makers that has been applied extensively in economic markets and machine algorithms. However, existing approaches make assumptions about, rather than empirically test, how adaptation by individual humans is affected by interaction with an adaptive machine. Here we tested learning algorithms for machines playing general-sum games with human subjects. Our algorithms enable the machine to select the outcome of the co-adaptive interaction from a constellation of game-theoretic equilibria in action and policy spaces. Importantly, the machine learning algorithms work directly from observations of human actions without solving an inverse problem to estimate the human’s utility function as in prior work. Surprisingly, one algorithm can steer the human-machine interaction to the machine’s optimum, effectively controlling the human’s actions even while the human responds optimally to their perceived cost landscape. Our results show that game theory can be used to predict and design outcomes of co-adaptive interactions between intelligent humans and machines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI