要約
マルチモーダル入力の照合のための一般的なフレームワークは、2段階のプロセスに基づいている。1) オブジェクト検出器によるプロポーザルの検出、2) テキストクエリとプロポーザルのマッチング。既存の2ステージのソリューションは、ほとんどがマッチングステップに焦点を当てている。この論文では、これらの方法が2つの段階におけるプロポーザルの役割の間の明らかなemph{mismatch}を見落としていることを主張します：彼らはプロポーザルがテキストクエリで言及されたすべてのインスタンスを含むことを期待して（すなわち、クエリを認識する）、検出信頼度にのみ基づいてプロポーザルを生成しています。このミスマッチにより、クエリに関連するプロポーザルがフィルタリングの過程で抑制される可能性があり、その結果、マッチング性能が低下する。そこで、我々はVL-NMSを提案する。VL-NMSは、最初の段階でクエリを考慮したプロポーザルを生成する最初の手法である。VL-NMSは、すべての言及されたインスタンスをクリティカルオブジェクトとみなし、各提案がクリティカルオブジェクトに整合するためのスコアを予測する軽量なモジュールを導入している。これらのスコアは、テキストクエリと無関係なプロポーザルをフィルタリングするためにNMSオペレーションをガイドし、クリティカルオブジェクトの想起を増加させ、結果としてマッチング性能を著しく向上させることができる。VL-NMSはマッチングステップに依存しないため、最新の2段階マッチング手法に容易に統合することができます。我々はVL-NMSの有効性を2つのマルチモーダルなマッチングタスク、すなわち、参照表現の接地と画像-テキストマッチングで検証する。いくつかのベースラインとベンチマークを用いた広範なアブレーション研究により、VL-NMSの優位性を一貫して実証している。
要約(オリジナル)
The prevailing framework for matching multimodal inputs is based on a two-stage process: 1) detecting proposals with an object detector and 2) matching text queries with proposals. Existing two-stage solutions mostly focus on the matching step. In this paper, we argue that these methods overlook an obvious \emph{mismatch} between the roles of proposals in the two stages: they generate proposals solely based on the detection confidence (i.e., query-agnostic), hoping that the proposals contain all instances mentioned in the text query (i.e., query-aware). Due to this mismatch, chances are that proposals relevant to the text query are suppressed during the filtering process, which in turn bounds the matching performance. To this end, we propose VL-NMS, which is the first method to yield query-aware proposals at the first stage. VL-NMS regards all mentioned instances as critical objects, and introduces a lightweight module to predict a score for aligning each proposal with a critical object. These scores can guide the NMS operation to filter out proposals irrelevant to the text query, increasing the recall of critical objects, resulting in a significantly improved matching performance. Since VL-NMS is agnostic to the matching step, it can be easily integrated into any state-of-the-art two-stage matching methods. We validate the effectiveness of VL-NMS on two multimodal matching tasks, namely referring expression grounding and image-text matching. Extensive ablation studies on several baselines and benchmarks consistently demonstrate the superiority of VL-NMS.
arxiv情報
| 著者 | Chenchi Zhang,Wenbo Ma,Jun Xiao,Hanwang Zhang,Jian Shao,Yueting Zhuang,Long Chen |
| 発行日 | 2023-01-05 15:56:30+00:00 |
| arxivサイト | arxiv_id(pdf) |