FlowAct: A Proactive Multimodal Human-robot Interaction System with Continuous Flow of Perception and Modular Action Sub-systems

要約

人間とロボットの相互作用システムの文脈における自律システムの進化には、環境の継続的な認識と、その中でナビゲートまたは相互作用するための潜在的なアクションとの間の相乗効果が必要です。
我々は、プロアクティブなマルチモーダルな人間とロボットの対話アーキテクチャである Flowact を紹介します。これは、アクチュエータへのロボット センサーの非同期無限ループとして機能し、環境状態追跡 (EST) とアクション プランナーの 2 つのコントローラーによって構成されます。
EST は、動作環境の表現を継続的に収集して公開し、知覚データの安定した流れを保証します。
この永続的な知覚フローは、移動モジュールや会話モジュールなどのモジュール式アクション サブシステムのコレクションを調整し、進化する環境の物語に基づいてアクションの開始または停止を制御する、高度なアクション プランナーにとって極めて重要です。
EST は、多様な感覚モダリティの融合を採用して、アクション プランナーに配布される環境の豊かなリアルタイム表現を構築します。
このプランナーは、意思決定フレームワークを使用してアクション モジュールを動的に調整し、環境の変化に積極的かつ一貫して対応できるようにします。
一連の実世界での実験を通じて、私たちは、継続的な知覚と行動のループを維持し、自律型プロアクティブエージェントの応答性と適応性を大幅に強化するシステムの有効性を実証しました。
アクション サブシステムのモジュラー アーキテクチャにより、幅広いタスクやシナリオへの拡張性と適応性が容易になります。

要約(オリジナル)

The evolution of autonomous systems in the context of human-robot interaction systems necessitates a synergy between the continuous perception of the environment and the potential actions to navigate or interact within it. We present Flowact, a proactive multimodal human-robot interaction architecture, working as an asynchronous endless loop of robot sensors into actuators and organized by two controllers, the Environment State Tracking (EST) and the Action Planner. The EST continuously collects and publishes a representation of the operative environment, ensuring a steady flow of perceptual data. This persistent perceptual flow is pivotal for our advanced Action Planner which orchestrates a collection of modular action subsystems, such as movement and speaking modules, governing their initiation or cessation based on the evolving environmental narrative. The EST employs a fusion of diverse sensory modalities to build a rich, real-time representation of the environment that is distributed to the Action Planner. This planner uses a decision-making framework to dynamically coordinate action modules, allowing them to respond proactively and coherently to changes in the environment. Through a series of real-world experiments, we exhibit the efficacy of the system in maintaining a continuous perception-action loop, substantially enhancing the responsiveness and adaptability of autonomous pro-active agents. The modular architecture of the action subsystems facilitates easy extensibility and adaptability to a broad spectrum of tasks and scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google