Alexa, play with robot: Introducing the First Alexa Prize SimBot Challenge on Embodied AI

要約

Alexa 賞プログラムは、多くの大学生に、SocialBot Grand Challenge や TaskBot Challenge などの課題を通じて、会話型エージェントの構築における才能を探究、実験、披露する機会を与えてきました。
会話型エージェントがマルチモーダルで具体化されたコンテキストで登場することが増えているため、コンピュータ ビジョンと物理的具体化で強化された会話型インタラクションのアフォーダンスを探索することが重要です。
この論文では、シミュレートされた物理環境でタスクを完了するロボット アシスタントの構築を大学のチームが競う新しいチャレンジである SimBot Challenge について説明します。
このペーパーでは、オンラインとオフラインの両方のチャレンジ フェーズを含む SimBot チャレンジの概要を説明します。
Alexa Arena、シミュレート環境、ビジョンと言語モデルの構築を加速するためにチームに提供される ML ツールキットなど、チームに提供されるインフラストラクチャとサポートについて説明します。
研究課題を克服し、学んだ重要な教訓を引き出すために参加チームがとったアプローチを要約します。
最後に、競技中の競合するシムボットのパフォーマンスの分析を提供します。

要約(オリジナル)

The Alexa Prize program has empowered numerous university students to explore, experiment, and showcase their talents in building conversational agents through challenges like the SocialBot Grand Challenge and the TaskBot Challenge. As conversational agents increasingly appear in multimodal and embodied contexts, it is important to explore the affordances of conversational interaction augmented with computer vision and physical embodiment. This paper describes the SimBot Challenge, a new challenge in which university teams compete to build robot assistants that complete tasks in a simulated physical environment. This paper provides an overview of the SimBot Challenge, which included both online and offline challenge phases. We describe the infrastructure and support provided to the teams including Alexa Arena, the simulated environment, and the ML toolkit provided to teams to accelerate their building of vision and language models. We summarize the approaches the participating teams took to overcome research challenges and extract key lessons learned. Finally, we provide analysis of the performance of the competing SimBots during the competition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google