Meta Compositional Referring Expression Segmentation

要約

タイトル：Meta Compositional Referring Expression Segmentation（メタコンポジションの指示表現セグメンテーション）
要約：
– テキスト表現によって記述された対象を画像から分割することを目的とした指示表現セグメンテーションの課題があります。
– この課題に取り組む既存のモデルは、個々の概念の意味と視覚表現を完全に捉えることができず、特に学習された概念の新しい組み合わせを処理する場合の一般化能力が限られている可能性があります。
– 本研究では、メタ学習の観点から、モデルのコンポジショナルな一般化性能を向上させるMeta Compositional Referring Expression Segmentation（MCRES）フレームワークを提案しています。
– 具体的には、さまざまなレベルの新しい構成要素を処理するために、フレームワークはトレーニングデータを使用して仮想トレーニングセットと複数の仮想テストセットを構築します。
– このフレームワークは、メタ最適化手法に従って、仮想トレーニングセットでトレーニングした後、仮想テストセットでの良好なテスト性能を得るためにモデルを最適化することができます。
– 包括的なベンチマークデータセットでの実験により、フレームワークの有効性が証明されています。

要約(オリジナル)

Referring expression segmentation aims to segment an object described by a language expression from an image. Despite the recent progress on this task, existing models tackling this task may not be able to fully capture semantics and visual representations of individual concepts, which limits their generalization capability, especially when handling novel compositions of learned concepts. In this work, through the lens of meta learning, we propose a Meta Compositional Referring Expression Segmentation (MCRES) framework to enhance model compositional generalization performance. Specifically, to handle various levels of novel compositions, our framework first uses training data to construct a virtual training set and multiple virtual testing sets, where data samples in each virtual testing set contain a level of novel compositions w.r.t. the virtual training set. Then, following a novel meta optimization scheme to optimize the model to obtain good testing performance on the virtual testing sets after training on the virtual training set, our framework can effectively drive the model to better capture semantics and visual representations of individual concepts, and thus obtain robust generalization performance even when handling novel compositions. Extensive experiments on three benchmark datasets demonstrate the effectiveness of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI