Designing Skill-Compatible AI: Methodologies and Frameworks in Chess

要約

強力な人工知能システムは、計算能力がはるかに弱いエージェントと対話する必要がある環境でよく使用されます。たとえば、人間と協力して作業する場合や、一部のタスクがアルゴリズム、ヒューリスティック、またはさまざまな計算能力を持つ他のエンティティによって処理される複雑な環境で動作する場合などです。
。
ただし、AI エージェントがこれらの環境で正常に対話するには、超人的なパフォーマンスを達成するだけでは十分ではありません。
また、スキルの低い相手の最適ではない行動や特異なスタイルも考慮する必要があります。
私たちは、スキルレベルがはるかに低い可能性のある対話パートナーと、最適に近い AI の互換性を評価するための正式な評価フレームワークを提案します。
私たちは、スキルの低いエンティティと正常に対話できる AI エージェントを研究および開発するためのモデル システムとして、人気のある協調チェスのバリアントを使用します。
最適に近い手を出力するように設計された従来のチェス エンジンは、他のエージェントの存在を考慮するように設計されていないため、この領域でさまざまな低スキル レベルのエンジンと組み合わせる場合、パートナーとして不適切であることがわかります。
私たちは、複雑な意思決定環境でスキル互換性のある AI エージェントを明示的に作成するための 3 つの方法論と、強力な AI エージェントとスキルの低いパートナー間のコラボレーションを促進するように設計された 2 つのチェス ゲーム フレームワークを提供します。
これらのフレームワークでは、当社のエージェントは、従来のチェスでは弱いにもかかわらず、最先端のチェス AI (AlphaZero ベース) よりも優れたパフォーマンスを発揮し、スキルの互換性が生のパフォーマンスとは定性的かつ測定可能な形で異なる明確な特性であることを実証しています。
私たちの評価では、エージェントがスキルの互換性を達成するメカニズムをさらに調査し、明らかにしています。

要約(オリジナル)

Powerful artificial intelligence systems are often used in settings where they must interact with agents that are computationally much weaker, for example when they work alongside humans or operate in complex environments where some tasks are handled by algorithms, heuristics, or other entities of varying computational power. For AI agents to successfully interact in these settings, however, achieving superhuman performance alone is not sufficient; they also need to account for suboptimal actions or idiosyncratic style from their less-skilled counterparts. We propose a formal evaluation framework for assessing the compatibility of near-optimal AI with interaction partners who may have much lower levels of skill; we use popular collaborative chess variants as model systems to study and develop AI agents that can successfully interact with lower-skill entities. Traditional chess engines designed to output near-optimal moves prove to be inadequate partners when paired with engines of various lower skill levels in this domain, as they are not designed to consider the presence of other agents. We contribute three methodologies to explicitly create skill-compatible AI agents in complex decision-making settings, and two chess game frameworks designed to foster collaboration between powerful AI agents and less-skilled partners. On these frameworks, our agents outperform state-of-the-art chess AI (based on AlphaZero) despite being weaker in conventional chess, demonstrating that skill-compatibility is a tangible trait that is qualitatively and measurably distinct from raw performance. Our evaluations further explore and clarify the mechanisms by which our agents achieve skill-compatibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google