IRIS: Interactive Responsive Intelligent Segmentation for 3D Affordance Analysis

要約

大規模な言語および視覚言語モデルの最近の進歩により、マルチモーダルな理解が大幅に強化されましたが、高レベルの言語命令を 3D 空間での正確なロボット動作に変換することは依然として困難です。
この論文では、3D アフォーダンス セグメンテーションのための新しいトレーニング不要のマルチモーダル システムである IRIS (Interactive Responsive Intelligent Segmentation) を、日常環境におけるインタラクティブな言語ガイドによるアフォーダンスを評価するためのベンチマークとともに紹介します。
IRIS は、大規模なマルチモーダル モデルを特殊な 3D ビジョン ネットワークと統合し、2D および 3D の視覚的理解と言語理解のシームレスな融合を可能にします。
評価を容易にするために、10 の典型的な屋内環境のデータセットを提示します。各環境には、オブジェクトのアクションと 3D アフォーダンス セグメンテーションの注釈が付けられた 50 枚の画像が含まれています。
広範な実験により、さまざまな設定にわたってインタラクティブな 3D アフォーダンス セグメンテーション タスクを処理する IRIS の機能が実証され、さまざまな指標にわたって競争力のあるパフォーマンスが示されています。
私たちの結果は、複雑な屋内環境におけるアフォーダンスの理解に基づいて人間とロボットのインタラクションを強化し、実世界のアプリケーション向けのより直感的で効率的なロボットシステムの開発を促進するIRISの可能性を強調しています。

要約(オリジナル)

Recent advancements in large language and vision-language models have significantly enhanced multimodal understanding, yet translating high-level linguistic instructions into precise robotic actions in 3D space remains challenging. This paper introduces IRIS (Interactive Responsive Intelligent Segmentation), a novel training-free multimodal system for 3D affordance segmentation, alongside a benchmark for evaluating interactive language-guided affordance in everyday environments. IRIS integrates a large multimodal model with a specialized 3D vision network, enabling seamless fusion of 2D and 3D visual understanding with language comprehension. To facilitate evaluation, we present a dataset of 10 typical indoor environments, each with 50 images annotated for object actions and 3D affordance segmentation. Extensive experiments demonstrate IRIS’s capability in handling interactive 3D affordance segmentation tasks across diverse settings, showcasing competitive performance across various metrics. Our results highlight IRIS’s potential for enhancing human-robot interaction based on affordance understanding in complex indoor environments, advancing the development of more intuitive and efficient robotic systems for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google