CREW: Facilitating Human-AI Teaming Research

要約

人工知能 (AI) テクノロジーの導入が進むにつれて、人間が AI エージェントと連携できる可能性が急速に高まっています。
人間と AI のチーミングは、人間と AI エージェントが協力するときのさまざまな側面を研究するための重要なパラダイムです。
人間と AI のチーミング研究のユニークな側面は、人間と AI エージェントを共同で研究する必要があることであり、機械学習から人間とコンピューターの相互作用、ロボット工学、認知科学、神経科学、心理学、社会科学、複雑なシステムに至るまで、学際的な研究努力が必要です。
ただし、人間と AI のチーミング研究のための既存のプラットフォームは限られており、多くの場合、過度に単純化されたシナリオと単一のタスクをサポートしているか、特に人間と AI のチーミング研究またはマルチエージェント AI アルゴリズムのいずれかに焦点を当てています。
CREW は、リアルタイムの意思決定シナリオで人間と AI のチーム化研究を促進し、人間の関与に重点を置き、複数の科学分野からのコラボレーションを促進するプラットフォームです。
これには、モジュール設計による拡張可能な可能性を備えた認知研究と人間と AI のチーム化のための事前構築されたタスクが含まれています。
従来の認知神経科学研究に続き、CREW は行動分析のためのマルチモーダルな人間の生理学的信号記録もサポートしています。
さらに、CREW は、最先端のアルゴリズムと適切に調整されたベースラインを使用して、人によるリアルタイムの強化学習エージェントのベンチマークを実行します。
CREW を使用することで、ベンチマークの有効性を検証するために 1 週​​間以内に 50 件の被験者研究を実施することができました。

要約(オリジナル)

With the increasing deployment of artificial intelligence (AI) technologies, the potential of humans working with AI agents has been growing at a great speed. Human-AI teaming is an important paradigm for studying various aspects when humans and AI agents work together. The unique aspect of Human-AI teaming research is the need to jointly study humans and AI agents, demanding multidisciplinary research efforts from machine learning to human-computer interaction, robotics, cognitive science, neuroscience, psychology, social science, and complex systems. However, existing platforms for Human-AI teaming research are limited, often supporting oversimplified scenarios and a single task, or specifically focusing on either human-teaming research or multi-agent AI algorithms. We introduce CREW, a platform to facilitate Human-AI teaming research in real-time decision-making scenarios and engage collaborations from multiple scientific disciplines, with a strong emphasis on human involvement. It includes pre-built tasks for cognitive studies and Human-AI teaming with expandable potentials from our modular design. Following conventional cognitive neuroscience research, CREW also supports multimodal human physiological signal recording for behavior analysis. Moreover, CREW benchmarks real-time human-guided reinforcement learning agents using state-of-the-art algorithms and well-tuned baselines. With CREW, we were able to conduct 50 human subject studies within a week to verify the effectiveness of our benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google