Multimodal Query-guided Object Localization

要約

ワンショットのクエリガイドによるオブジェクト位置特定において、オブジェクトの画像もオブジェクト カテゴリ名もクエリとして使用できないシナリオを考えてみましょう。
このようなシナリオでは、オブジェクトの手描きのスケッチがクエリの選択肢となる可能性があります。
ただし、手描きの大まかなスケッチだけをクエリとして使用すると、オブジェクトの位置特定が曖昧になる可能性があります。たとえば、ラップトップのスケッチがソファと混同される可能性があります。
一方、カテゴリの言語的定義 (たとえば、膝の上で使用できるほど小さい小型のポータブル コンピュータ) とスケッチ クエリは、オブジェクトの位置特定のためのより良い視覚的および意味論的な手がかりを提供します。
この研究では、挑戦的なオープンセット設定の下で、マルチモーダルなクエリガイドによるオブジェクト位置特定アプローチを紹介します。
特に、手描きのスケッチとオブジェクトの説明 (光沢とも呼ばれます) という 2 つのモダリティからのクエリを使用して、オブジェクトの位置特定を実行します。
マルチモーダルなクエリガイドによるオブジェクトの位置特定は、特にクエリと自然画像の間に大きなドメインギャップが存在する場合や、クエリ全体に存在する補完的で最小限の情報を組み合わせるという課題があるため、困難なタスクです。
たとえば、手描きの粗いスケッチにはオブジェクトの抽象的な形状情報が含まれていますが、テキストの説明には特定のオブジェクト カテゴリに関する部分的な意味情報が含まれることがよくあります。
前述の課題に対処するために、領域提案ネットワークをガイドして入力クエリに関連するオブジェクト提案を生成する新しいクロスモーダル アテンション スキームと、クエリに関して各提案をスコアリングする新しい直交投影ベースの提案スコアリング手法を提示します。
これにより、最終的な位置特定結果が得られます。
…

要約(オリジナル)

Consider a scenario in one-shot query-guided object localization where neither an image of the object nor the object category name is available as a query. In such a scenario, a hand-drawn sketch of the object could be a choice for a query. However, hand-drawn crude sketches alone, when used as queries, might be ambiguous for object localization, e.g., a sketch of a laptop could be confused for a sofa. On the other hand, a linguistic definition of the category, e.g., a small portable computer small enough to use in your lap’ along with the sketch query, gives better visual and semantic cues for object localization. In this work, we present a multimodal query-guided object localization approach under the challenging open-set setting. In particular, we use queries from two modalities, namely, hand-drawn sketch and description of the object (also known as gloss), to perform object localization. Multimodal query-guided object localization is a challenging task, especially when a large domain gap exists between the queries and the natural images, as well as due to the challenge of combining the complementary and minimal information present across the queries. For example, hand-drawn crude sketches contain abstract shape information of an object, while the text descriptions often capture partial semantic information about a given object category. To address the aforementioned challenges, we present a novel cross-modal attention scheme that guides the region proposal network to generate object proposals relevant to the input queries and a novel orthogonal projection-based proposal scoring technique that scores each proposal with respect to the queries, thereby yielding the final localization results. …

arxiv情報

提供元, 利用サービス

arxiv.jp, Google