Meta Compositional Referring Expression Segmentation

要約

タイトル：メタ構成言及表現セグメンテーション
要約：言語表現によって記述されたオブジェクトを画像から分割することを目的とする言及表現セグメンテーションについて、従来のモデルは個々の概念の意味や視覚表現を完全に捉えることができず、特に新しい構成を扱う場合に一般化能力が制限される可能性がある。本研究では、メタ学習の視点から、モデルの構成的一般化性能を向上させるために、メタ構成言及表現セグメンテーション（MCRES）フレームワークを提案する。具体的には、さまざまなレベルの新しい構成を扱うために、フレームワークはまず、トレーニングデータを使用して仮想トレーニングセットと複数の仮想テストセットを構築します。各仮想テストセットのデータサンプルには、仮想トレーニングセットに対する新しい構成のレベルが含まれます。その後、新しいメタ最適化スキームに従ってモデルを最適化し、仮想トレーニングセットでトレーニングした後に仮想テストセットで良好なテストパフォーマンスを得るようにフレームワークがモデルを効果的に誘導することで、モデルが個々の概念の意味や視覚表現をよりよく捉えることができ、新しい構成を扱う場合でも堅牢な一般化性能を得ることができます。3つのベンチマークデータセットでの幅広い実験により、フレームワークの有効性が示されています。

要約(オリジナル)

Referring expression segmentation aims to segment an object described by a language expression from an image. Despite the recent progress on this task, existing models tackling this task may not be able to fully capture semantics and visual representations of individual concepts, which limits their generalization capability, especially when handling novel compositions of learned concepts. In this work, through the lens of meta learning, we propose a Meta Compositional Referring Expression Segmentation (MCRES) framework to enhance model compositional generalization performance. Specifically, to handle various levels of novel compositions, our framework first uses training data to construct a virtual training set and multiple virtual testing sets, where data samples in each virtual testing set contain a level of novel compositions w.r.t. the virtual training set. Then, following a novel meta optimization scheme to optimize the model to obtain good testing performance on the virtual testing sets after training on the virtual training set, our framework can effectively drive the model to better capture semantics and visual representations of individual concepts, and thus obtain robust generalization performance even when handling novel compositions. Extensive experiments on three benchmark datasets demonstrate the effectiveness of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI