Rethinking Initialization of the Sinkhorn Algorithm

要約

タイトル： Sinkhornアルゴリズムの初期化の見直し

要約：

– 最適輸送（OT）問題は、もともと線形プログラムとして定式化されたが、エントロピー正則化を追加することで、多くの応用分野において計算上、統計上共に有利であることが証明されている。
– Sinkhorn固定点アルゴリズムは、この正則化された問題を解決するための最も一般的なアプローチであり、そのために、正則化パラメータのアニーリング、運動量または加速度を使用してランタイムを短縮するための複数の試みが行われてきた。
– この研究の前提は、Sinkhornアルゴリズムの初期化が比較的注意を集めていない可能性があることであり、これは2つの先入観によるものかもしれない。つまり、正則化されたOT問題が凸であるため、良い初期化を作成することは価値がないと考えられている場合と、Sinkhornアルゴリズムの出力がしばしばエンドツーエンドのパイプラインで展開されるため、データ依存の初期化はヤコビアンの計算にバイアスを与える可能性がある場合である。
– この研究では、このよくある見解に疑問を提起し、データ依存の初期化がドラマティックな高速化をもたらすことを示し、暗黙的微分が使用されている限り、微分に影響を与えないことを示す。初期化は、1D、ガウシアンまたはGMM設定で既知の正確または近似OTソリューションの閉形式に依存する。少量のチューニングで使用でき、多様なOT問題に対して一貫して高速化が実現される。

要約(オリジナル)

While the optimal transport (OT) problem was originally formulated as a linear program, the addition of entropic regularization has proven beneficial both computationally and statistically, for many applications. The Sinkhorn fixed-point algorithm is the most popular approach to solve this regularized problem, and, as a result, multiple attempts have been made to reduce its runtime using, e.g., annealing in the regularization parameter, momentum or acceleration. The premise of this work is that initialization of the Sinkhorn algorithm has received comparatively little attention, possibly due to two preconceptions: since the regularized OT problem is convex, it may not be worth crafting a good initialization, since any is guaranteed to work; secondly, because the outputs of the Sinkhorn algorithm are often unrolled in end-to-end pipelines, a data-dependent initialization would bias Jacobian computations. We challenge this conventional wisdom, and show that data-dependent initializers result in dramatic speed-ups, with no effect on differentiability as long as implicit differentiation is used. Our initializations rely on closed-forms for exact or approximate OT solutions that are known in the 1D, Gaussian or GMM settings. They can be used with minimal tuning, and result in consistent speed-ups for a wide variety of OT problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI