Tutorial on amortized optimization

要約

最適化はユビキタスモデリングツールであり、同じ問題の同様のインスタンスを繰り返し解決する設定に展開されることがよくあります。
償却最適化方法は、学習を使用して、これらの設定の問題の解決策を予測し、同様の問題インスタンス間で共有構造を活用します。
これらの方法は、変動推論と強化学習において重要であり、最適化の問題を解決することができます。
このチュートリアルでは、これらの進歩の背後にある償却最適化の基礎の紹介と、そのアプリケーションが変分推論、スパースコーディング、勾配ベースのメタラーニング、制御、強化学習、凸最適化、最適輸送、および深部平衡ネットワークでのアプリケーションを概要します。
このチュートリアルのソースコードは、https：//github.com/facebookresearch/amortized-optimization-tutorialで入手できます。

要約(オリジナル)

Optimization is a ubiquitous modeling tool and is often deployed in settings which repeatedly solve similar instances of the same problem. Amortized optimization methods use learning to predict the solutions to problems in these settings, exploiting the shared structure between similar problem instances. These methods have been crucial in variational inference and reinforcement learning and are capable of solving optimization problems many orders of magnitudes times faster than traditional optimization methods that do not use amortization. This tutorial presents an introduction to the amortized optimization foundations behind these advancements and overviews their applications in variational inference, sparse coding, gradient-based meta-learning, control, reinforcement learning, convex optimization, optimal transport, and deep equilibrium networks. The source code for this tutorial is available at https://github.com/facebookresearch/amortized-optimization-tutorial.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google