Weakly-Supervised Visual-Textual Grounding with Semantic Prior Refinement

要約

画像と文のペアのみを使用して、弱く教師された視覚とテキストの基礎付けは、それぞれのエンティティの言及の領域とフレーズの対応を学習することを目的としています。
教師ありアプローチと比較して、境界ボックスとテキストフレーズの対応が利用できないため、学習はより困難になります。
これを考慮して、2 つのメイン モジュールの出力を組み合わせることによって予測が得られるセマンティック事前洗練モデル (SPRM) を提案します。
最初の未トレーニングモジュールは、テキストフレーズと境界ボックス間の大まかな位置合わせを返すことを目的としています。
2 番目のトレーニング済みモジュールは、大まかな位置合わせを調整して最終的なフレーズ境界ボックスの位置合わせの精度を向上させる 2 つのサブコンポーネントで構成されています。
このモデルは、画像と文の間のマルチモーダルな類似性を最大化する一方で、同じ文と無関係な新しい画像のマルチモーダルな類似性を最小限に抑えるようにトレーニングされ、トレーニング中に最も役立つように慎重に選択されます。
私たちのアプローチは、Flickr30k Entities と ReferIt という 2 つの人気のあるデータセットで最先端の結果を示しており、特に ReferIt では 9.6% の絶対的な改善が見られます。
さらに、トレーニングされていないコンポーネントのおかげで、トレーニング例のほんの一部を使用するだけで、競争力のあるパフォーマンスに達します。

要約(オリジナル)

Using only image-sentence pairs, weakly-supervised visual-textual grounding aims to learn region-phrase correspondences of the respective entity mentions. Compared to the supervised approach, learning is more difficult since bounding boxes and textual phrases correspondences are unavailable. In light of this, we propose the Semantic Prior Refinement Model (SPRM), whose predictions are obtained by combining the output of two main modules. The first untrained module aims to return a rough alignment between textual phrases and bounding boxes. The second trained module is composed of two sub-components that refine the rough alignment to improve the accuracy of the final phrase-bounding box alignments. The model is trained to maximize the multimodal similarity between an image and a sentence, while minimizing the multimodal similarity of the same sentence and a new unrelated image, carefully selected to help the most during training. Our approach shows state-of-the-art results on two popular datasets, Flickr30k Entities and ReferIt, shining especially on ReferIt with a 9.6% absolute improvement. Moreover, thanks to the untrained component, it reaches competitive performances just using a small fraction of training examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google