Harlequin: Color-driven Generation of Synthetic Data for Referring Expression Comprehension

要約

参照表現理解 (REC) は、自然言語表現によってシーン内の特定のオブジェクトを識別することを目的としており、視覚言語理解における重要なトピックです。
このタスクの最先端の方法は深層学習に基づいており、通常、高価で手動でラベル付けされたアノテーションが必要です。
一部の研究では、限定された教師による学習、または大規模なビジョンおよび言語モデルに依存して問題に取り組んでいます。
しかし、ラベル付きデータを合成する技術の開発は見落とされています。
この論文では、テキストと視覚の両方のモダリティを考慮して、REC タスク用の人工データを生成する新しいフレームワークを提案します。
まず、パイプラインは既存のデータを処理して、注釈のバリエーションを作成します。
次に、変更された注釈をガイダンスとして使用して画像を生成します。
このパイプラインの結果は、100 万を超えるクエリによって作成された Harlequin と呼ばれる新しいデータセットです。
このアプローチにより、手動によるデータ収集と注釈が不要になり、スケーラビリティが可能になり、任意の複雑さが容易になります。
Harlequin で 3 つの REC モデルを事前トレーニングし、人間が注釈を付けたデータセットで微調整して評価しました。
私たちの実験は、人工データの事前トレーニングがパフォーマンスに有益であることを示しています。

要約(オリジナル)

Referring Expression Comprehension (REC) aims to identify a particular object in a scene by a natural language expression, and is an important topic in visual language understanding. State-of-the-art methods for this task are based on deep learning, which generally requires expensive and manually labeled annotations. Some works tackle the problem with limited-supervision learning or relying on Large Vision and Language Models. However, the development of techniques to synthesize labeled data is overlooked. In this paper, we propose a novel framework that generates artificial data for the REC task, taking into account both textual and visual modalities. At first, our pipeline processes existing data to create variations in the annotations. Then, it generates an image using altered annotations as guidance. The result of this pipeline is a new dataset, called Harlequin, made by more than 1M queries. This approach eliminates manual data collection and annotation, enabling scalability and facilitating arbitrary complexity. We pre-train three REC models on Harlequin, then fine-tuned and evaluated on human-annotated datasets. Our experiments show that the pre-training on artificial data is beneficial for performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google