LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization

要約

私たちは、敵対者が学習者には未知の任意のラウンド数 k で損失関数を破壊することによって異常値を導入する可能性がある、堅牢なオンライン凸最適化フレームワークを研究します。
私たちは、リプシッツの仮定に依存せずに、境界のない領域と損失の大きな勾配を可能にする新しい設定に焦点を当てています。
異常値の影響を軽減し、LEARN 損失を利用してオンライン勾配降下アルゴリズムの堅牢なバリアントを開発するための、非凸 (invex) ロバストな損失関数である対数指数調整ロバストおよび iNvex (LEARN) 損失を導入します。
私たちは、破損していないラウンドに関して動的な設定で厳格なリグレス保証 (最大一定) を確立し、理論を検証するための実験を実施します。
さらに、非凸（凸）損失のオンライン最適化アルゴリズムを開発するための統合分析フレームワークを提示し、それを利用して、独立した関心のあるLEARN損失に関するリグレス限界を提供します。

要約(オリジナル)

We study a robust online convex optimization framework, where an adversary can introduce outliers by corrupting loss functions in an arbitrary number of rounds k, unknown to the learner. Our focus is on a novel setting allowing unbounded domains and large gradients for the losses without relying on a Lipschitz assumption. We introduce the Log Exponential Adjusted Robust and iNvex (LEARN) loss, a non-convex (invex) robust loss function to mitigate the effects of outliers and develop a robust variant of the online gradient descent algorithm by leveraging the LEARN loss. We establish tight regret guarantees (up to constants), in a dynamic setting, with respect to the uncorrupted rounds and conduct experiments to validate our theory. Furthermore, we present a unified analysis framework for developing online optimization algorithms for non-convex (invex) losses, utilizing it to provide regret bounds with respect to the LEARN loss, which may be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google