Meta Compositional Referring Expression Segmentation

要約

タイトル: メタ構成参照表現記述のセグメンテーション

要約:

– 参照表現のセグメンテーションは、言語表現で説明されたオブジェクトを画像からセグメント化することを目的とする。
– これに取り組んでいる既存のモデルは、個々の概念の意味と視覚表現を十分に捉えることができないため、学習された概念の新しい編成を扱う場合、汎化の能力が制限される可能性がある。
– メタ学習の観点から、本研究ではメタ構成参照表現セグメンテーション (MCRES) フレームワークを提案し、モデル構造の汎化性能を高める。
– 具体的には、新しい構成レベルを扱うために、トレーニングデータを使用して仮想トレーニングセットと複数の仮想テストセットを構築し、各仮想テストセットのデータサンプルには、仮想トレーニングセットに関して新しい構成レベルが含まれるようにする。
– その後、新たなメタ最適化方式に従って、モデルを最適化し、仮想トレーニングセットでトレーニングした後、仮想テストセットで良好なテスト性能を得ることができる。
– 本フレームワークにより、個々の概念の意味と視覚表現をより正確に捉えることができ、新しい編成を扱う場合にも堅牢な汎化性能を得ることができる。
– 3つのベンチマークデータセットでの広範な実験により、提案フレームワークの有効性が示された。

要約(オリジナル)

Referring expression segmentation aims to segment an object described by a language expression from an image. Despite the recent progress on this task, existing models tackling this task may not be able to fully capture semantics and visual representations of individual concepts, which limits their generalization capability, especially when handling novel compositions of learned concepts. In this work, through the lens of meta learning, we propose a Meta Compositional Referring Expression Segmentation (MCRES) framework to enhance model compositional generalization performance. Specifically, to handle various levels of novel compositions, our framework first uses training data to construct a virtual training set and multiple virtual testing sets, where data samples in each virtual testing set contain a level of novel compositions w.r.t. the virtual training set. Then, following a novel meta optimization scheme to optimize the model to obtain good testing performance on the virtual testing sets after training on the virtual training set, our framework can effectively drive the model to better capture semantics and visual representations of individual concepts, and thus obtain robust generalization performance even when handling novel compositions. Extensive experiments on three benchmark datasets demonstrate the effectiveness of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI