A Case Study on Visual-Audio-Tactile Cross-Modal Retrieval

要約

クロスモーダル検索 (CMR) は、あるモダリティ (例: 音声) で別のモダリティ (例: 視覚) でクエリを実行すると、そのモダリティから関連する項目を取得するもので、近年大幅な進歩を遂げています。
この機能は、ロボットがさまざまな感覚入力にわたる情報を統合し、解釈するために非常に重要です。
しかし、既存のロボットによる CMR アプローチの検索空間は 1 つのモダリティのみで構成されることが多く、ロボットの性能が制限されます。
本稿では、マルチモーダル物体検索を強化するために、視覚、聴覚、触覚の 3 つの異なるモダリティを組み込んだ、VAT-CMR と名付けた新しい CMR モデルを提案します。
このモデルでは、まずマルチモーダル表現が融合されて、オブジェクトの特徴の全体的なビューが提供されます。
異なるモダリティの表現間の意味論的なギャップを軽減するために、分類トレーニング段階で支配的なモダリティが選択され、表現の識別性が向上し、検索パフォーマンスが向上します。
私たちが提案したアプローチを評価するために、ケーススタディを実施しました。その結果、当社の VAT-CMR モデルが競合するアプローチを上回っていることが実証されました。
さらに、私たちが提案する主要なモダリティの選択により、相互検索の精度が大幅に向上します。

要約(オリジナル)

Cross-Modal Retrieval (CMR), which retrieves relevant items from one modality (e.g., audio) given a query in another modality (e.g., visual), has undergone significant advancements in recent years. This capability is crucial for robots to integrate and interpret information across diverse sensory inputs. However, the retrieval space in existing robotic CMR approaches often consists of only one modality, which limits the robot’s performance. In this paper, we propose a novel CMR model that incorporates three different modalities, i.e., visual, audio and tactile, for enhanced multi-modal object retrieval, named as VAT-CMR. In this model, multi-modal representations are first fused to provide a holistic view of object features. To mitigate the semantic gaps between representations of different modalities, a dominant modality is then selected during the classification training phase to improve the distinctiveness of the representations, so as to improve the retrieval performance. To evaluate our proposed approach, we conducted a case study and the results demonstrate that our VAT-CMR model surpasses competing approaches. Further, our proposed dominant modality selection significantly enhances cross-retrieval accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google