A Guide to Stochastic Optimisation for Large-Scale Inverse Problems

要約

確率的最適化アルゴリズムは、大量のデータを使用した機械学習の事実上の標準です。
各最適化ステップで利用可能なデータのサブセットのみを処理することで、反復ごとの計算コストが大幅に削減され、同時に解決策に向けた大幅な進歩が保証されます。
大規模な最適化問題をできるだけ効率的に解決する必要性に駆られて、過去 10 年間、この分野の研究が爆発的に増加しました。
機械学習と逆問題の類似点を活用することで、この研究の波の力を逆問題の解決に利用できるようになりました。
この調査では、逆問題の観点から確率的最適化における最先端の技術を包括的に説明します。
問題のランダム化の多様な様式を備えたアルゴリズムを紹介し、分散の低減、加速、高次の手法、その他のアルゴリズムの修正の役割について議論し、理論的な結果と実際の動作を比較します。
私たちは、機械学習では通常遭遇しない、逆結像問題に特有の確率的最適化の可能性と課題に焦点を当てています。
この新世代のアルゴリズムが逆問題の分野にもたらす利点と欠点を検討するために、イメージング問題の具体的な例で調査を締めくくります。

要約(オリジナル)

Stochastic optimisation algorithms are the de facto standard for machine learning with large amounts of data. Handling only a subset of available data in each optimisation step dramatically reduces the per-iteration computational costs, while still ensuring significant progress towards the solution. Driven by the need to solve large-scale optimisation problems as efficiently as possible, the last decade has witnessed an explosion of research in this area. Leveraging the parallels between machine learning and inverse problems has allowed harnessing the power of this research wave for solving inverse problems. In this survey, we provide a comprehensive account of the state-of-the-art in stochastic optimisation from the viewpoint of inverse problems. We present algorithms with diverse modalities of problem randomisation and discuss the roles of variance reduction, acceleration, higher-order methods, and other algorithmic modifications, and compare theoretical results with practical behaviour. We focus on the potential and the challenges for stochastic optimisation that are unique to inverse imaging problems and are not commonly encountered in machine learning. We conclude the survey with illustrative examples from imaging problems to examine the advantages and disadvantages that this new generation of algorithms bring to the field of inverse problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google