Rank-based Decomposable Losses in Machine Learning: A Survey

要約

【タイトル】機械学習におけるランクベースの分解可能損失関数：サーベイ

【要約】

– 損失関数には、個々の損失と集計損失の２種類があり、集計損失は個々の損失を結合したものである。
– どちらの損失関数でも、複数の個々の値を一つの数値に結合するための手続きがある。
– ランキング順位は、損失関数を設計する上で最も基本的な関係を反映する。
– 分解可能性は、損失が複数の個々の項から構成される性質であり、損失/スコアを組織化する上で重要な要素である。
– このサーベイでは、ランクベースの分解可能な損失関数について、体系的かつ包括的に調査を行っている。
– 集計損失と個々の損失の観点から、新しい損失関数の分類法を提供し、集計損失を構成するための集計器の例を提示する。
– ランクベースの分解可能な損失関数を８つのカテゴリに分類し、それに従って、ランクベースの集計損失と個々の損失に関する文献を批評する。
– これらの損失の一般的な式と、既存の研究テーマとの関係を説明し、ランクベースの分解可能性に関する未開拓、未解決、新興の問題について、将来の研究方向を提案する。

要約(オリジナル)

Recent works have revealed an essential paradigm in designing loss functions that differentiate individual losses vs. aggregate losses. The individual loss measures the quality of the model on a sample, while the aggregate loss combines individual losses/scores over each training sample. Both have a common procedure that aggregates a set of individual values to a single numerical value. The ranking order reflects the most fundamental relation among individual values in designing losses. In addition, decomposability, in which a loss can be decomposed into an ensemble of individual terms, becomes a significant property of organizing losses/scores. This survey provides a systematic and comprehensive review of rank-based decomposable losses in machine learning. Specifically, we provide a new taxonomy of loss functions that follows the perspectives of aggregate loss and individual loss. We identify the aggregator to form such losses, which are examples of set functions. We organize the rank-based decomposable losses into eight categories. Following these categories, we review the literature on rank-based aggregate losses and rank-based individual losses. We describe general formulas for these losses and connect them with existing research topics. We also suggest future research directions spanning unexplored, remaining, and emerging issues in rank-based decomposable losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI