Real-Time Multimodal Signal Processing for HRI in RoboCup: Understanding a Human Referee

要約

人間とロボットのコミュニケーションの進歩は、人間の信号をリアルタイムで正確に解釈することが不可欠な動的環境で動作する自律システムにとって非常に重要です。
ロボカップは、これらの機能をテストするための説得力のあるシナリオを提供し、ロボットがネットワークへの依存を最小限に抑えながら審判のジェスチャーとホイッスルを理解することを要求します。
この研究では、NAO ロボット プラットフォームを使用して、効率的なホイッスル検出のための連続畳み込みニューラル ネットワーク (CCNN) と並行して、キーポイントの抽出と分類によるジェスチャ認識のための 2 段階のパイプラインを実装しています。
提案されたアプローチは、ロボカップのような競争環境におけるリアルタイムの人間とロボットの相互作用を強化し、人間と協力できる自律システムの開発を進めるためのいくつかのツールを提供します。

要約(オリジナル)

Advancing human-robot communication is crucial for autonomous systems operating in dynamic environments, where accurate real-time interpretation of human signals is essential. RoboCup provides a compelling scenario for testing these capabilities, requiring robots to understand referee gestures and whistle with minimal network reliance. Using the NAO robot platform, this study implements a two-stage pipeline for gesture recognition through keypoint extraction and classification, alongside continuous convolutional neural networks (CCNNs) for efficient whistle detection. The proposed approach enhances real-time human-robot interaction in a competitive setting like RoboCup, offering some tools to advance the development of autonomous systems capable of cooperating with humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google