RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression

要約

複数のデータサンプルが小さな割合のラベルから取得されるデータの不均衡は、ディープニューラルネットワークのトレーニングに課題をもたらします。
分類とは異なり、回帰では、ラベルは連続的で、潜在的に無限であり、自然な順序を形成します。
回帰のこれらの明確な機能は、ラベルとスペースの関係でエンコードされた追加情報を活用する新しい手法を必要とします。
このペーパーでは、深い不均衡な回帰のためのRankSim（ランキング類似性）正則化を示します。これは、ラベル空間に近いサンプルは特徴空間にも近いはずであるという誘導バイアスをエンコードします。
最近の分布平滑化ベースのアプローチとは対照的に、RankSimは、近くと遠くの関係の両方をキャプチャします。特定のデータサンプルについて、RankSimは、ラベルスペース内の隣接リストの並べ替えを、機能空間内の隣接リストの並べ替えと一致させるように促します。
RankSimは、再重み付け、2段階トレーニング、分布平滑化などの従来の不均衡な学習手法を補完し、3つの不均衡な回帰ベンチマークで最先端のパフォーマンスを向上させます：IMDB-WIKI-DIR、AgeDB-DIR、
およびSTS-B-DIR。

要約(オリジナル)

Data imbalance, in which a plurality of the data samples come from a small proportion of labels, poses a challenge in training deep neural networks. Unlike classification, in regression the labels are continuous, potentially boundless, and form a natural ordering. These distinct features of regression call for new techniques that leverage the additional information encoded in label-space relationships. This paper presents the RankSim (ranking similarity) regularizer for deep imbalanced regression, which encodes an inductive bias that samples that are closer in label space should also be closer in feature space. In contrast to recent distribution smoothing based approaches, RankSim captures both nearby and distant relationships: for a given data sample, RankSim encourages the sorted list of its neighbors in label space to match the sorted list of its neighbors in feature space. RankSim is complementary to conventional imbalanced learning techniques, including re-weighting, two-stage training, and distribution smoothing, and lifts the state-of-the-art performance on three imbalanced regression benchmarks: IMDB-WIKI-DIR, AgeDB-DIR, and STS-B-DIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google