Tutorial on amortized optimization

要約

タイトル: アモルティゼーション最適化のチュートリアル
要約：
– 最適化は、共通の問題を繰り返し解く設定でしばしば展開される普遍的なモデリングツールである。
– アモルティゼーション最適化方法は、類似した問題インスタンス間で共有される構造を利用して、これらの設定の問題の解を予測するために学習を使用する。
– これらの方法は、変分推論や強化学習などで重要であり、アモルティゼーションを使用しない従来の最適化方法よりも数桁高速で問題を解決することができる。
– このチュートリアルでは、これらの進歩の背後にあるアモルティゼーション最適化の基礎について紹介し、変分推論、スパースコーディング、勾配ベースのメタ学習、制御、強化学習、凸最適化、最適輸送、深い平衡ネットワークにおける応用を概説する。
– このチュートリアルのソースコードは、https://github.com/facebookresearch/amortized-optimization-tutorial で利用可能である。

要約(オリジナル)

Optimization is a ubiquitous modeling tool and is often deployed in settings which repeatedly solve similar instances of the same problem. Amortized optimization methods use learning to predict the solutions to problems in these settings, exploiting the shared structure between similar problem instances. These methods have been crucial in variational inference and reinforcement learning and are capable of solving optimization problems many orders of magnitudes times faster than traditional optimization methods that do not use amortization. This tutorial presents an introduction to the amortized optimization foundations behind these advancements and overviews their applications in variational inference, sparse coding, gradient-based meta-learning, control, reinforcement learning, convex optimization, optimal transport, and deep equilibrium networks. The source code for this tutorial is available at https://github.com/facebookresearch/amortized-optimization-tutorial.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI