GREC: Generalized Referring Expression Comprehension

要約

Classic Referring Expression Comprehension (REC) の目的は、特定のテキスト記述で言及されているオブジェクトに対応する境界ボックスを作成することです。
一般に、クラシック REC の既存のデータセットと手法は、単一のターゲットに関連する式に合わせて調整されています。これは、単一の式が 1 つの特定のオブジェクトにリンクされていることを意味します。
複数のターゲットを参照する表現や、特定のターゲットを含まない表現は考慮されていません。
この制約は、REC の実際の適用性を妨げます。
この調査では、Generalized Referring Expression Comprehension (GREC) と呼ばれる新しいベンチマークを導入しています。
このベンチマークは、式で任意の数のターゲット オブジェクトを記述できるようにすることで、従来の REC を拡張します。
この目標を達成するために、私たちは gRefCOCO という名前の最初の大規模 GREC データセットを構築しました。
このデータセットには、複数のターゲットを参照する式、特定のターゲットを持たない式、単一ターゲットの式など、さまざまな式が含まれています。
GREC および gRefCOCO の設計により、クラシック REC とのスムーズな互換性が保証されます。
提案された gRefCOCO データセット、GREC メソッド実装コード、および GREC 評価コードは、https://github.com/henghuiding/gRefCOCO で入手できます。

要約(オリジナル)

The objective of Classic Referring Expression Comprehension (REC) is to produce a bounding box corresponding to the object mentioned in a given textual description. Commonly, existing datasets and techniques in classic REC are tailored for expressions that pertain to a single target, meaning a sole expression is linked to one specific object. Expressions that refer to multiple targets or involve no specific target have not been taken into account. This constraint hinders the practical applicability of REC. This study introduces a new benchmark termed as Generalized Referring Expression Comprehension (GREC). This benchmark extends the classic REC by permitting expressions to describe any number of target objects. To achieve this goal, we have built the first large-scale GREC dataset named gRefCOCO. This dataset encompasses a range of expressions: those referring to multiple targets, expressions with no specific target, and the single-target expressions. The design of GREC and gRefCOCO ensures smooth compatibility with classic REC. The proposed gRefCOCO dataset, a GREC method implementation code, and GREC evaluation code are available at https://github.com/henghuiding/gRefCOCO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google