Gradient Aligned Regression via Pairwise Losses

要約

回帰は、過去数十年にわたって広範な注目を集めてきた機械学習の基本的なタスクです。
回帰のための従来のアプローチでは、主に個々のデータサンプルのグラウンドトゥルースとモデル予測の整列に集中する損失関数を採用することが含まれます。
最近の研究の努力により、潜在的な特徴空間に余分なペアワイズ正規化を課すことにより、ラベルの類似性を回帰に組み込むことにより、新しい視点が導入され、有効性が実証されました。
ただし、これらのアプローチには2つの欠点があります。i）潜在的な特徴空間でのペアワイズ操作は、従来の回帰損失よりも計算的に高価です。
ii）そのような正則化の背後にある理論的正当化が不足しています。
この作業では、従来の回帰損失と、マグニチュードと方向を含む勾配アライメントの2つのペアワイズラベル差損失によって構成されるラベル空間の競合的な代替方法として、GAR（勾配アライメント回帰）を提案します。
GARは次のとおりです。i）提案されたペアワイズ損失の二次複雑さは線形の複雑さまで減らすことができるため、従来の回帰損失と同じレベルの効率。
ii）ペアワイズラベルの違いを学習することから、グラウンドトゥルース関数の勾配の学習までの理論的洞察。
現在の範囲は、騒音、外れ値、または分布シフトなどのないクリーンデータ設定の回帰として制限されます。2つの合成データセットと、他の8つの競合ベースラインとの6つのベンチマークデータセットからの8つの広範な現実世界のタスクで、提案された方法の有効性を実質的に示します。
実行時間実験は、潜在的な特徴空間でペアワイズ正規化を伴う既存の方法よりも提案されたGARの優れた効率を示し、アブレーション研究はGARの各コンポーネントの有効性を示しています。

要約(オリジナル)

Regression is a fundamental task in machine learning that has garnered extensive attention over the past decades. The conventional approach for regression involves employing loss functions that primarily concentrate on aligning model prediction with the ground truth for each individual data sample. Recent research endeavors have introduced novel perspectives by incorporating label similarity to regression via imposing extra pairwise regularization on the latent feature space and demonstrated the effectiveness. However, there are two drawbacks for those approaches: i) their pairwise operation in latent feature space is computationally more expensive than conventional regression losses; ii) it lacks of theoretical justifications behind such regularization. In this work, we propose GAR (Gradient Aligned Regression) as a competitive alternative method in label space, which is constituted by a conventional regression loss and two pairwise label difference losses for gradient alignment including magnitude and direction. GAR enjoys: i) the same level efficiency as conventional regression loss because the quadratic complexity for the proposed pairwise losses can be reduced to linear complexity; ii) theoretical insights from learning the pairwise label difference to learning the gradient of the ground truth function. We limit our current scope as regression on the clean data setting without noises, outliers or distributional shifts, etc. We demonstrate the effectiveness of the proposed method practically on two synthetic datasets and on eight extensive real-world tasks from six benchmark datasets with other eight competitive baselines. Running time experiments demonstrate the superior efficiency of the proposed GAR over existing methods with pairwise regularization in latent feature space and ablation studies demonstrate the effectiveness of each component for GAR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google