Algorithmic Foundations of Empirical X-risk Minimization

要約

この原稿では、{\bf empirical X-risk minimization (EXM)} という機械学習と AI のための新しい最適化フレームワークを紹介します。
X リスクは、一連の構成尺度または目標を表すために導入された用語であり、リスク関数を定義するために各データ ポイントが多数の項目と明示的または暗黙的に比較されます。
これには、広く使用されている多くの尺度と分解不可能な損失の代替目標が含まれます。例: AUROC、AUPRC、部分的な AUROC、NDCG、MAP、$K$ の上位の精度/再現率、特定の再現率レベルでの精度、リストごとの損失、p-
これらの非分解目標とその最適化アルゴリズムは、機械学習、コンピュータ ビジョン、情報検索などの文献で研究されてきましたが、これらの目標の最適化では、いくつかの特有の課題に直面しています。
深い学習。
このペーパーでは、アルゴリズムの基礎とその応用に焦点を当てて、EXM に対する最近の厳密な取り組みを紹介します。
滑らかな非凸目標を使用して EXM を解くためのアルゴリズム手法のクラスを紹介します。
我々は、EXM を、それぞれ非凸組成最適化、非凸最小-最大最適化、および非凸バイレベル最適化に属する非凸最適化問題の 3 つの特殊なファミリーに定式化します。
問題の系統ごとに、既存の結果を改善するためのさらなる研究の動機となるいくつかの強力なベースライン アルゴリズムとその複雑さを示します。
提示された結果と今後の研究についての議論は最後に示されています。
さまざまな X リスクを最適化するための効率的なアルゴリズムは、\url{www.libauc.org} の LibAUC ライブラリに実装されています。

要約(オリジナル)

This manuscript introduces a new optimization framework for machine learning and AI, named {\bf empirical X-risk minimization (EXM)}. X-risk is a term introduced to represent a family of compositional measures or objectives, in which each data point is compared with a large number of items explicitly or implicitly for defining a risk function. It includes surrogate objectives of many widely used measures and non-decomposable losses, e.g., AUROC, AUPRC, partial AUROC, NDCG, MAP, precision/recall at top $K$ positions, precision at a certain recall level, listwise losses, p-norm push, top push, global contrastive losses, etc. While these non-decomposable objectives and their optimization algorithms have been studied in the literature of machine learning, computer vision, information retrieval, and etc, optimizing these objectives has encountered some unique challenges for deep learning. In this paper, we present recent rigorous efforts for EXM with a focus on its algorithmic foundations and its applications. We introduce a class of algorithmic techniques for solving EXM with smooth non-convex objectives. We formulate EXM into three special families of non-convex optimization problems belonging to non-convex compositional optimization, non-convex min-max optimization and non-convex bilevel optimization, respectively. For each family of problems, we present some strong baseline algorithms and their complexities, which will motivate further research for improving the existing results. Discussions about the presented results and future studies are given at the end. Efficient algorithms for optimizing a variety of X-risks are implemented in the LibAUC library at \url{www.libauc.org}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google