A Parameter-Efficient Tuning Framework for Language-guided Object Grounding and Robot Grasping

要約

言語誘導ロボットの把握タスクでは、ロボットエージェントが視覚入力と言語入力の両方からマルチモーダル情報を統合して、ターゲット駆動型の把握のアクションを予測する必要があります。
マルチモーダル大手言語モデル（MLLM）を利用する最近のアプローチは有望な結果を示していますが、その広範な計算とデータの要求は、ローカルの展開とカスタマイズの実現可能性を制限しています。
これに対処するために、3つの言語誘導オブジェクトの接地と把握タスクのために設計された新しいクリップベースのマルチモーダルパラメーター効率の高いチューニング（PET）フレームワークを提案します。
）、および（3）把持アフォーダンス（RGA）を参照します。
私たちのアプローチでは、2つの重要な革新を紹介します。ピクセルレベルの言語理解のマルチモーダル入力を整列させる双方向ビジョン言語アダプターと、幾何学的なキューを組み込んでロボットの把握予測を促進する深度融合分岐です。
実験結果は、既存のクリップベースのフルモデルチューニングまたはPETアプローチと比較して、RESオブジェクトの接地タスクで優れた性能を示しています。
RGSおよびRGAタスクでは、モデルは単純な言語の説明に基づいてオブジェクト属性を効果的に解釈するだけでなく、ワークスペースに存在する複数の同一のオブジェクトなど、複雑な空間的推論シナリオを理解するための強力な可能性を示しています。
プロジェクトページ：https：//z.umn.edu/etog-ettg

要約(オリジナル)

The language-guided robot grasping task requires a robot agent to integrate multimodal information from both visual and linguistic inputs to predict actions for target-driven grasping. While recent approaches utilizing Multimodal Large Language Models (MLLMs) have shown promising results, their extensive computation and data demands limit the feasibility of local deployment and customization. To address this, we propose a novel CLIP-based multimodal parameter-efficient tuning (PET) framework designed for three language-guided object grounding and grasping tasks: (1) Referring Expression Segmentation (RES), (2) Referring Grasp Synthesis (RGS), and (3) Referring Grasp Affordance (RGA). Our approach introduces two key innovations: a bi-directional vision-language adapter that aligns multimodal inputs for pixel-level language understanding and a depth fusion branch that incorporates geometric cues to facilitate robot grasping predictions. Experiment results demonstrate superior performance in the RES object grounding task compared with existing CLIP-based full-model tuning or PET approaches. In the RGS and RGA tasks, our model not only effectively interprets object attributes based on simple language descriptions but also shows strong potential for comprehending complex spatial reasoning scenarios, such as multiple identical objects present in the workspace. Project page: https://z.umn.edu/etog-etrg

arxiv情報

提供元, 利用サービス

arxiv.jp, Google