Implicit Bias of Mirror Flow on Separable Data

要約

我々は、線形分離可能な分類問題に関して、ミラー降下に相当する連続時間のミラーフローを調べます。
このような問題は「無限に」最小化され、多くの解決策が考えられます。
ミラーのポテンシャルに応じて、アルゴリズムによってどのソリューションが優先されるかを検討します。
指数関数的なテール損失と潜在的な可能性に関する穏やかな仮定の下では、反復が $\phi_\infty$-maximum margin classifier に向かう方向に収束することを示します。
関数 $\phi_\infty$ はミラーポテンシャルの $\textit{horizo​​n 関数}$ であり、「無限大における」その形状を特徴づけます。
ポテンシャルが分離可能な場合、簡単な公式でこの関数を計算できます。
私たちはポテンシャルのいくつかの例を分析し、その結果を強調する数値実験を提供します。

要約(オリジナル)

We examine the continuous-time counterpart of mirror descent, namely mirror flow, on classification problems which are linearly separable. Such problems are minimised `at infinity’ and have many possible solutions; we study which solution is preferred by the algorithm depending on the mirror potential. For exponential tailed losses and under mild assumptions on the potential, we show that the iterates converge in direction towards a $\phi_\infty$-maximum margin classifier. The function $\phi_\infty$ is the $\textit{horizon function}$ of the mirror potential and characterises its shape `at infinity’. When the potential is separable, a simple formula allows to compute this function. We analyse several examples of potentials and provide numerical experiments highlighting our results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google