A Simple but Effective Closed-form Solution for Extreme Multi-label Learning

要約

エクストリーム マルチラベル ラーニング (XML) は、非常に大規模なラベルのセットから複数のラベルを各データ インスタンスに割り当てるタスクです。
現在の高性能 XML モデルの多くは多数のハイパーパラメータで構成されており、チューニング プロセスが複雑になっています。
さらに、モデル自体は特に XML に適合しているため、再実装が複雑になります。
この問題を解決するために、XML のリッジ回帰に基づく簡単な方法を提案します。
提案された方法は、閉じた形式の解を有するだけでなく、単一のハイパーパラメータで構成されます。
XML にリッジ回帰を適用した前例がないため、この論文ではさまざまな XML ベンチマーク データセットを使用してこの方法のパフォーマンスを検証しました。
さらに、有益なコンテンツを保持する XML の低頻度ラベルの予測を強化しました。
この予測は不可欠ですが、データ量が限られているため困難です。
ここでは、単純な周波数ベースの重み付けを採用しました。
このアプローチにより、既存の技術と比較してプロセスが大幅に簡素化されます。
実験の結果、多数のハイパーパラメータを備えたモデルと同等、またはそれを超えるレベルのパフォーマンスを達成できることが明らかになりました。
さらに、周波数ベースの重み付けにより、実装にほとんど変更を加えずに、低周波数ラベルの予測パフォーマンスが大幅に向上することがわかりました。
提案されたメソッドのソース コードは、github (https://github.com/cars1015/XML-ridge) で入手できます。

要約(オリジナル)

Extreme multi-label learning (XML) is a task of assigning multiple labels from an extremely large set of labels to each data instance. Many current high-performance XML models are composed of a lot of hyperparameters, which complicates the tuning process. Additionally, the models themselves are adapted specifically to XML, which complicates their reimplementation. To remedy this problem, we propose a simple method based on ridge regression for XML. The proposed method not only has a closed-form solution but also is composed of a single hyperparameter. Since there are no precedents on applying ridge regression to XML, this paper verified the performance of the method by using various XML benchmark datasets. Furthermore, we enhanced the prediction of low-frequency labels in XML, which hold informative content. This prediction is essential yet challenging because of the limited amount of data. Here, we employed a simple frequency-based weighting. This approach greatly simplifies the process compared with existing techniques. Experimental results revealed that it can achieve levels of performance comparable to, or even exceeding, those of models with numerous hyperparameters. Additionally, we found that the frequency-based weighting significantly improved the predictive performance for low-frequency labels, while requiring almost no changes in implementation. The source code for the proposed method is available on github at https://github.com/cars1015/XML-ridge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google