Annealed Sinkhorn for Optimal Transport: convergence, regularization path and debiasing

要約

Sinkhorn のアルゴリズムは、大規模な最適トランスポート (OT) 問題を解決するために選択される方法です。
この文脈では、速度と精度のトレードオフを決定する逆温度パラメータ $\beta$ が関係します。
このトレードオフを改善するために、実践者は、非減少シーケンス $(\beta_t)_{t\in \mathbb{N}}$ ($t$ は反復回数) を使用する、このアルゴリズムのバリアントである Annealed Sinkhorn をよく使用します。
ただし、スケジュール $\beta_t=\Theta(\log t)$ が非現実的に遅いこと以外に、このバリアントが実際に OT を解決することが保証されているかどうかは不明です。
私たちの最初の貢献は、この質問に答えます。 $\beta_t\to+\infty$ および $\beta_t-\beta_{t-1}\to 0$ の場合に限り、凹面アニーリング スケジュールが OT を漸近的に解くことを示します。
この証明は、オンライン ミラー降下法との等価性に基づいており、さらに、焼き鈍しシンクホーンの反復が一連の緩和されたエントロピー OT 問題、つまり正則化パスの解に従うことを示唆しています。
このパスを分析すると、$\Theta(\beta^{-1}_t)$ のよく知られた「エントロピー」エラーに加えて、アニーリング手順が $\Theta(\ の「緩和」エラーを誘発することが明らかになります。
beta_{t}-\beta_{t-1})$。
最良のエラー トレードオフは、スケジュール $\beta_t = \Theta(\sqrt{t})$ で実現されます。これは、遅いとはいえ、この方法の普遍的な制限です。
この制限を超えて、緩和誤差を低減し、したがってより高速なアニーリング スケジュールを可能にするアニーリング済みシンクホーンの簡単な修正を提案します。
おもちゃの実験では、バイアスを除去したアニール済みシンクホーン アルゴリズムの有効性を観察します。このアルゴリズムを 1 回実行すると、標準シンクホーン アルゴリズムの速度精度パレート フロント全体に広がります。

要約(オリジナル)

Sinkhorn’s algorithm is a method of choice to solve large-scale optimal transport (OT) problems. In this context, it involves an inverse temperature parameter $\beta$ that determines the speed-accuracy trade-off. To improve this trade-off, practitioners often use a variant of this algorithm, Annealed Sinkhorn, that uses an nondecreasing sequence $(\beta_t)_{t\in \mathbb{N}}$ where $t$ is the iteration count. However, besides for the schedule $\beta_t=\Theta(\log t)$ which is impractically slow, it is not known whether this variant is guaranteed to actually solve OT. Our first contribution answers this question: we show that a concave annealing schedule asymptotically solves OT if and only if $\beta_t\to+\infty$ and $\beta_t-\beta_{t-1}\to 0$. The proof is based on an equivalence with Online Mirror Descent and further suggests that the iterates of Annealed Sinkhorn follow the solutions of a sequence of relaxed, entropic OT problems, the regularization path. An analysis of this path reveals that, in addition to the well-known ‘entropic’ error in $\Theta(\beta^{-1}_t)$, the annealing procedure induces a ‘relaxation’ error in $\Theta(\beta_{t}-\beta_{t-1})$. The best error trade-off is achieved with the schedule $\beta_t = \Theta(\sqrt{t})$ which, albeit slow, is a universal limitation of this method. Going beyond this limitation, we propose a simple modification of Annealed Sinkhorn that reduces the relaxation error, and therefore enables faster annealing schedules. In toy experiments, we observe the effectiveness of our Debiased Annealed Sinkhorn’s algorithm: a single run of this algorithm spans the whole speed-accuracy Pareto front of the standard Sinkhorn’s algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google