Bridging the Gap Between Object Detection and User Intent via Query-Modulation

要約

カメラや写真を通してオブジェクトとインタラクションするとき、ユーザーはしばしば特定の意図を持っています。例えば、視覚的な検索を行いたい場合などです。ほとんどのオブジェクト検出モデルは、その唯一の入力として画像ピクセルに依存しているため、望ましくない結果が出ることも珍しくありません。最も典型的なものは、関心のあるオブジェクトを高い信頼度で検出できなかったり、誤ったクラスラベルで検出されたりすることです。この問題は、容量に制限のあるモバイル物体検出器をオンデバイスで動作させる場合に特に深刻となります。本論文では、単純なクエリの埋め込みとして表現されるユーザの意図を明示的に考慮するために、モバイル検出器を変調する技術について検討する。標準的な検出器と比較して、クエリ変調された検出器は、与えられたユーザクエリに対するオブジェクトの検出において優れた性能を示す。また、標準的な物体検出のアノテーションから合成された大規模な学習データにより、クエリモジュレーション検出器は、特殊な参照表現認識システムをも凌駕する性能を示す。また、クエリ変調型検出器は、ユーザークエリの位置特定と標準検出の両方を同時に解くように訓練することができ、標準的なCOCOタスクにおいて標準的な移動検出器をも凌駕する性能を示す。

要約(オリジナル)

When interacting with objects through cameras, or pictures, users often have a specific intent. For example, they may want to perform a visual search. With most object detection models relying on image pixels as their sole input, undesired results are not uncommon. Most typically: lack of a high-confidence detection on the object of interest, or detection with a wrong class label. The issue is especially severe when operating capacity-constrained mobile object detectors on-device. In this paper we investigate techniques to modulate mobile detectors to explicitly account for the user intent, expressed as an embedding of a simple query. Compared to standard detectors, query-modulated detectors show superior performance at detecting objects for a given user query. Thanks to large-scale training data synthesized from standard object detection annotations, query-modulated detectors also outperform a specialized referring expression recognition system. Query-modulated detectors can also be trained to simultaneously solve for both localizing a user query and standard detection, even outperforming standard mobile detectors at the canonical COCO task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL