Conterfactual Generative Zero-Shot Semantic Segmentation

要約

ゼロショット学習は、コンピュータービジョンの重要な部分です。
古典的なダウンストリームタスクとして、ゼロショットセマンティックセグメンテーションは、申請者の価値があるため研究されています。
一般的なゼロショットセマンティックセグメンテーション方法の1つは、このモデルを強化するために同じアーキテクチャに構造を追加した新しい提案された作品を追加した生成モデルに基づいています。
しかし、因果推論の観点から、元のモデルの結果は、偽の統計的関係の影響を受けていることがわかりました。
したがって、予測のパフォーマンスは深刻なバイアスを示しています。
この作業では、元のモデルの交絡因子を回避するための反事実的な方法を検討します。
この方法に基づいて、ゼロショットセマンティックセグメンテーションの新しいフレームワークを提案しました。
私たちのモデルは、2つの実際のデータセット、Pascal-VOCとPascal-Contextのベースラインモデルと比較されます。
実験結果は、提案されたモデルが以前の混乱したモデルを上回ることができ、パフォーマンスを改善するために追加の構造を利用できることを示しています。
また、この作業でグラフ畳み込みネットワーク（GCN）に基づいて単純な構造を設計します。

要約(オリジナル)

zero-shot learning is an essential part of computer vision. As a classical downstream task, zero-shot semantic segmentation has been studied because of its applicant value. One of the popular zero-shot semantic segmentation methods is based on the generative model Most new proposed works added structures on the same architecture to enhance this model. However, we found that, from the view of causal inference, the result of the original model has been influenced by spurious statistical relationships. Thus the performance of the prediction shows severe bias. In this work, we consider counterfactual methods to avoid the confounder in the original model. Based on this method, we proposed a new framework for zero-shot semantic segmentation. Our model is compared with baseline models on two real-world datasets, Pascal-VOC and Pascal-Context. The experiment results show proposed models can surpass previous confounded models and can still make use of additional structures to improve the performance. We also design a simple structure based on Graph Convolutional Networks (GCN) in this work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google