No Regularization is Needed: An Efficient and Effective Model for Incomplete Label Distribution Learning

要約

ラベル分布学習 (LDL) は、ソフト ラベル (別名度) をサンプルに割り当てます。
実際には、完全な学位を取得するのは常に困難であり、不完全 LDL (InLDL) が生まれます。
ただし、InLDL はパフォーマンスの低下に悩まされることがよくあります。
これを修正するには、既存のメソッドに 1 つ以上の明示的な正則化が必要であり、面倒なパラメータ調整と余分な計算が必要になります。
私たちは、ラベルの分布自体が、適切に使用されれば、明示的な正則化なしで InLDL 問題を解決できる事前の有用な情報を提供する可能性があると主張します。
本稿では、そのような事前分布を使用するための合理的な代替案を提案します。
私たちの直観では、大きな学位はより関心を集める可能性が高く、小さな学位は簡単に見落とされますが、InLDL では欠けている学位は完全に無視されます。
正確なラベル分布を学習するには、観測された小さな次数を無視するのではなく、欠落している次数の重みを徐々に増やしながら、それらに適切に大きな重みを与えることが重要です。
この目的を達成するために、まず重み付けされた経験的リスクを定義し、期待されるリスクと重み付けされた経験的リスクの間の上限を導き出します。これにより、重み付けが暗黙的な正則化の役割を果たすことが原理的に明らかになります。
次に、次数の事前確率を使用して重み付けスキームを設計し、その有効性を検証します。
要約すると、私たちのモデルには 4 つの利点があります。1) 明示的な正則化が課されていないため、モデルの選択が自由です。
2) 閉じた形式の解決策 (部分問題) と実装が簡単 (数行のコード) です。
3) サンプル数における計算の複雑さが線形であるため、大規模なデータセットに拡張可能です。
4) 明示的な正則化がなくても、最先端の技術と競合できます。

要約(オリジナル)

Label Distribution Learning (LDL) assigns soft labels, a.k.a. degrees, to a sample. In reality, it is always laborious to obtain complete degrees, giving birth to the Incomplete LDL (InLDL). However, InLDL often suffers from performance degeneration. To remedy it, existing methods need one or more explicit regularizations, leading to burdensome parameter tuning and extra computation. We argue that label distribution itself may provide useful prior, when used appropriately, the InLDL problem can be solved without any explicit regularization. In this paper, we offer a rational alternative to use such a prior. Our intuition is that large degrees are likely to get more concern, the small ones are easily overlooked, whereas the missing degrees are completely neglected in InLDL. To learn an accurate label distribution, it is crucial not to ignore the small observed degrees but to give them properly large weights, while gradually increasing the weights of the missing degrees. To this end, we first define a weighted empirical risk and derive upper bounds between the expected risk and the weighted empirical risk, which reveals in principle that weighting plays an implicit regularization role. Then, by using the prior of degrees, we design a weighted scheme and verify its effectiveness. To sum up, our model has four advantages, it is 1) model selection free, as no explicit regularization is imposed; 2) with closed form solution (sub-problem) and easy-to-implement (a few lines of codes); 3) with linear computational complexity in the number of samples, thus scalable to large datasets; 4) competitive with state-of-the-arts even without any explicit regularization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google