Multi-Label Learning with Stronger Consistency Guarantees

要約

$H$-一貫性限界によってサポートされる、サロゲート損失とマルチラベル学習のアルゴリズムの詳細な研究を紹介します。
まず、最も単純な形式のマルチラベル損失 (一般的なハミング損失) の場合、よく知られている一貫性のあるバイナリ関連性サロゲートが、$H$ 整合性限界の点でラベルの数に対する次善の依存関係に悩まされることを示します。
、物流損失などのスムーズな損失を使用する場合。
さらに、この損失関数はラベル相関を考慮できません。
これらの欠点に対処するために、ラベルの相関性とラベルに依存しない $H$ 一貫性限界による利点を考慮した新しいサロゲート損失であるマルチラベル ロジスティック損失を導入します。
次に、すべての一般的な損失と、混同行列に関する線形分数関数に基づいて定義された新しい拡張を含む、より広範囲のマルチラベル損失をカバーするように分析を拡張します。
また、マルチラベルのロジスティック損失をより包括的なマルチラベルの計算合計損失に拡張し、標準分類から計算合計損失をマルチラベル学習に適応させます。
我々は、この一連の代理損失が、一般的なマルチラベル損失全体にわたって $H$ 一貫性限界、したがってベイズ一貫性から恩恵を受けることを証明します。
したがって、私たちの研究は、ベイズ一貫性と特定の損失関数のみを確立した以前の研究を大幅に拡張し、あらゆるマルチラベル損失に対する強力な一貫性保証の恩恵を受ける統一された代理損失フレームワークを提案します。
さらに、同様の方法で、標準分類からの制約損失を複数ラベルの制約損失に適応させます。これは、$H$ 整合性限界、つまりマルチラベル損失に対するベイズ整合性からも恩恵を受けます。
さらに、マルチラベルのロジスティック損失を最小限に抑えるための効率的な勾配計算アルゴリズムについて説明します。

要約(オリジナル)

We present a detailed study of surrogate losses and algorithms for multi-label learning, supported by $H$-consistency bounds. We first show that, for the simplest form of multi-label loss (the popular Hamming loss), the well-known consistent binary relevance surrogate suffers from a sub-optimal dependency on the number of labels in terms of $H$-consistency bounds, when using smooth losses such as logistic losses. Furthermore, this loss function fails to account for label correlations. To address these drawbacks, we introduce a novel surrogate loss, multi-label logistic loss, that accounts for label correlations and benefits from label-independent $H$-consistency bounds. We then broaden our analysis to cover a more extensive family of multi-label losses, including all common ones and a new extension defined based on linear-fractional functions with respect to the confusion matrix. We also extend our multi-label logistic losses to more comprehensive multi-label comp-sum losses, adapting comp-sum losses from standard classification to the multi-label learning. We prove that this family of surrogate losses benefits from $H$-consistency bounds, and thus Bayes-consistency, across any general multi-label loss. Our work thus proposes a unified surrogate loss framework benefiting from strong consistency guarantees for any multi-label loss, significantly expanding upon previous work which only established Bayes-consistency and for specific loss functions. Additionally, we adapt constrained losses from standard classification to multi-label constrained losses in a similar way, which also benefit from $H$-consistency bounds and thus Bayes-consistency for any multi-label loss. We further describe efficient gradient computation algorithms for minimizing the multi-label logistic loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google