Cross-Modal Retrieval for Motion and Text via MildTriple Loss

要約

クロスモーダル検索は、画像テキストおよびビデオテキスト検索テクノロジの進歩に伴い、コンピュータ ビジョンおよび自然言語処理における顕著な研究トピックとなっています。
しかし、人間の動作シーケンスとテキスト間のクロスモーダル検索は、仮想現実アプリケーションがユーザーの行動や言語をよりよく理解するのに役立つなど、広範な応用価値があるにもかかわらず、十分な注目を集めていません。
このタスクには、2 つのモダリティの共同モデリング、テキストからの人物中心の情報の理解の要求、3D 人間の動作シーケンスからの行動特徴の学習など、いくつかの課題があります。
モーション データ モデリングに関するこれまでの研究は、主に以前の情報を忘れてしまう可能性のある自己回帰特徴抽出器に依存していましたが、我々は、2 つの異なるモダリティから表現を学習し、長時間のデータをキャプチャできる、シンプルかつ強力なトランスフォーマー ベースのモーション エンコーダとテキスト エンコーダを含む革新的なモデルを提案します。
用語の依存関係。
さらに、異なる人間の動きの同じ原子的な動作が重なると意味上の矛盾が生じる可能性があり、新しい三重項損失関数である MildTriple Loss の探索につながります。
イントラモーダル空間でのサンプル間の類似性を利用して、結合埋め込み空間でのソフト/ハード ネガティブ サンプル マイニングをガイドして、三重項損失をトレーニングし、偽陰性サンプルによって引き起こされる違反を軽減します。
最新の HumanML3D および KIT モーション言語データセットでモデルとメソッドを評価し、HumanML3D データセットでのモーション検索の再現率 62.9\%、テキスト検索の再現率 (R@10 に基づく) 71.5\% を達成しました。
私たちのコードは https://github.com/eanson023/rehamot で入手できます。

要約(オリジナル)

Cross-modal retrieval has become a prominent research topic in computer vision and natural language processing with advances made in image-text and video-text retrieval technologies. However, cross-modal retrieval between human motion sequences and text has not garnered sufficient attention despite the extensive application value it holds, such as aiding virtual reality applications in better understanding users’ actions and language. This task presents several challenges, including joint modeling of the two modalities, demanding the understanding of person-centered information from text, and learning behavior features from 3D human motion sequences. Previous work on motion data modeling mainly relied on autoregressive feature extractors that may forget previous information, while we propose an innovative model that includes simple yet powerful transformer-based motion and text encoders, which can learn representations from the two different modalities and capture long-term dependencies. Furthermore, the overlap of the same atomic actions of different human motions can cause semantic conflicts, leading us to explore a new triplet loss function, MildTriple Loss. it leverages the similarity between samples in intra-modal space to guide soft-hard negative sample mining in the joint embedding space to train the triplet loss and reduce the violation caused by false negative samples. We evaluated our model and method on the latest HumanML3D and KIT Motion-Language datasets, achieving a 62.9\% recall for motion retrieval and a 71.5\% recall for text retrieval (based on R@10) on the HumanML3D dataset. Our code is available at https://github.com/eanson023/rehamot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google