Skew Class-balanced Re-weighting for Unbiased Scene Graph Generation

要約

Skew Class-balanced Re-weighting (SCR) と呼ばれる偏りのないシーン グラフ生成 (SGG) アルゴリズムは、ロングテール分布によって引き起こされる偏りのない述語予測を考慮するために提案されています。
以前の研究は、主に少数述語予測のパフォーマンスの低下を軽減することに焦点を当てており、リコールスコアが大幅に低下している、つまり、多数述語のパフォーマンスが失われています。
限られた SGG データセットでは、多数述語パフォーマンスと少数述語パフォーマンスの間のトレードオフをまだ正しく分析していません。
このホワイト ペーパーでは、この問題を軽減するために、偏りのない SGG モデルについて、Skew Class-balanced Re-weighting (SCR) 損失関数を検討します。
偏った述語予測の歪度を利用して、SCR はターゲット述語の重み係数を推定し、偏った述語にさらに重みを付け直して、多数派述語と少数派述語の間のトレードオフを改善します。
標準の Visual Genome データセットと Open Image V4 \& V6 で実施された広範な実験は、従来の SGG モデルを使用した SCR のパフォーマンスと一般性を示しています。

要約(オリジナル)

An unbiased scene graph generation (SGG) algorithm referred to as Skew Class-balanced Re-weighting (SCR) is proposed for considering the unbiased predicate prediction caused by the long-tailed distribution. The prior works focus mainly on alleviating the deteriorating performances of the minority predicate predictions, showing drastic dropping recall scores, i.e., losing the majority predicate performances. It has not yet correctly analyzed the trade-off between majority and minority predicate performances in the limited SGG datasets. In this paper, to alleviate the issue, the Skew Class-balanced Re-weighting (SCR) loss function is considered for the unbiased SGG models. Leveraged by the skewness of biased predicate predictions, the SCR estimates the target predicate weight coefficient and then re-weights more to the biased predicates for better trading-off between the majority predicates and the minority ones. Extensive experiments conducted on the standard Visual Genome dataset and Open Image V4 \& V6 show the performances and generality of the SCR with the traditional SGG models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google