要約
逆レンダリングなどの難しい逆問題を扱う場合、モンテカルロ推定勾配を使用してパラメーターを最適化すると、分散により収束が遅くなる可能性があります。
各反復で多くの勾配サンプルを平均すると、この分散は自明に減少します。
ただし、数千回の最適化反復を必要とする問題の場合、このアプローチの計算コストは急速に増加します。
インターリーブサンプリングと最適化のための理論的枠組みを導き出します。
各反復間の推定勾配の変化を記述する低分散有限差分推定器を使用して、過去のサンプルを更新して再利用します。
比例サンプルと有限差分サンプルを組み合わせることで、最適化プロセス全体を通じて新しい勾配メタ推定量の分散を継続的に削減します。
推定器がどのように Adam と連携するかを調査し、安定した組み合わせを導き出します。
逆パス トレースのメソッドを実装し、推定器がどのようにして困難な最適化タスクの収束を高速化するかを示します。
要約(オリジナル)
When dealing with difficult inverse problems such as inverse rendering, using Monte Carlo estimated gradients to optimise parameters can slow down convergence due to variance. Averaging many gradient samples in each iteration reduces this variance trivially. However, for problems that require thousands of optimisation iterations, the computational cost of this approach rises quickly. We derive a theoretical framework for interleaving sampling and optimisation. We update and reuse past samples with low-variance finite-difference estimators that describe the change in the estimated gradients between each iteration. By combining proportional and finite-difference samples, we continuously reduce the variance of our novel gradient meta-estimators throughout the optimisation process. We investigate how our estimator interlinks with Adam and derive a stable combination. We implement our method for inverse path tracing and demonstrate how our estimator speeds up convergence on difficult optimisation tasks.
arxiv情報
著者 | Martin Balint,Karol Myszkowski,Hans-Peter Seidel,Gurprit Singh |
発行日 | 2023-09-27 14:21:13+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google