LibAUC: A Deep Learning Library for X-Risk Optimization

要約

本稿では、X-risksと名付けられたリスク関数ファミリーの最適化に向けた最先端のアルゴリズムを実装するための、受賞歴のある深層学習（DL）ライブラリ「LibAUC」を紹介する。X-risksとは、各データポイントの損失関数が、そのデータポイントを他の多数のデータと対比する形で定義される構成関数の一群を指す。アンバランスなデータに対する分類（CID）、ランク付け学習（LTR）、表現の対比学習（CLR）など、古典的な問題や新たな問題を解決するためにAIで広く応用されている。LibAUCの開発の動機は、これらの問題を解決するための既存のライブラリの収束の問題を解決することです。特に、経験的リスク最小化（ERM）フレームワークにおける標準的なミニバッチ技術の使用により、これらの問題で良好な性能を達成するために、既存のライブラリは収束しないか、非常に大きなミニバッチサイズを必要とする場合があります。我々のライブラリは、CID、LTR、CLRの様々なタスクを解決する上で大きな成功を収めた深層Xリスク最適化（DXO）用である。本論文の貢献は以下の通りである：(1) DXOアルゴリズムを実装するための新しいミニバッチベースのパイプラインを紹介し、制御されたデータサンプラーと動的ミニバッチロスの設計において既存のDLパイプラインと異なる、 (2) アブレーション研究における広範なベンチマーク実験と既存のライブラリとの比較を行っている。LibAUCライブラリは、数百万のアイテムを対比するためのスケーラブルな性能、Xリスクを最適化するための既存ライブラリよりも高速で優れた収束性、シームレスなPyTorch展開、様々な損失最適化のための汎用的なAPIを特徴とします。私たちのライブラリは、さらなる学術研究や産業応用を促進するために、オープンソースコミュニティ（https://github.com/Optimization-AI/LibAUC）に公開されています。

要約(オリジナル)

This paper introduces the award-winning deep learning (DL) library called LibAUC for implementing state-of-the-art algorithms towards optimizing a family of risk functions named X-risks. X-risks refer to a family of compositional functions in which the loss function of each data point is defined in a way that contrasts the data point with a large number of others. They have broad applications in AI for solving classical and emerging problems, including but not limited to classification for imbalanced data (CID), learning to rank (LTR), and contrastive learning of representations (CLR). The motivation of developing LibAUC is to address the convergence issues of existing libraries for solving these problems. In particular, existing libraries may not converge or require very large mini-batch sizes in order to attain good performance for these problems, due to the usage of the standard mini-batch technique in the empirical risk minimization (ERM) framework. Our library is for deep X-risk optimization (DXO) that has achieved great success in solving a variety of tasks for CID, LTR and CLR. The contributions of this paper include: (1) It introduces a new mini-batch based pipeline for implementing DXO algorithms, which differs from existing DL pipeline in the design of controlled data samplers and dynamic mini-batch losses; (2) It provides extensive benchmarking experiments for ablation studies and comparison with existing libraries. The LibAUC library features scalable performance for millions of items to be contrasted, faster and better convergence than existing libraries for optimizing X-risks, seamless PyTorch deployment and versatile APIs for various loss optimization. Our library is available to the open source community at https://github.com/Optimization-AI/LibAUC, to facilitate further academic research and industrial applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL