Make Optimization Once and for All with Fine-grained Guidance

要約

最適化（L2O）を学習することで、統合されたニューラルネットワークを使用して最適化効率が向上します。
L2Oパラダイムは、たとえばオプティマイザーを再補充し、目に見えないソリューションを反復的または直接生成します。
ただし、従来のL2Oメソッドには複雑な設計が必要であり、特定の最適化プロセスに依存して、スケーラビリティと一般化を制限します。
分析では、DIFF-L2Oと呼ばれる学習最適化の一般的なフレームワークを探り、実際の最適化プロセスのみでローカル更新ではなく、より広いビューからサンプリングソリューションを増強することに焦点を当てています。
一方、関連する一般化はバウンドを与え、DIFF-L2Oのサンプルの多様性がより良いパフォーマンスをもたらすことを示しています。
この境界は、他のフィールドに単純に適用することができ、多様性、平均バリケーション、およびさまざまなタスクについて議論することができます。
Diff-L2Oの強力な互換性は、他の時間レベルと比較して、微小レベルのトレーニングのみで経験的に検証されています。

要約(オリジナル)

Learning to Optimize (L2O) enhances optimization efficiency with integrated neural networks. L2O paradigms achieve great outcomes, e.g., refitting optimizer, generating unseen solutions iteratively or directly. However, conventional L2O methods require intricate design and rely on specific optimization processes, limiting scalability and generalization. Our analyses explore general framework for learning optimization, called Diff-L2O, focusing on augmenting sampled solutions from a wider view rather than local updates in real optimization process only. Meanwhile, we give the related generalization bound, showing that the sample diversity of Diff-L2O brings better performance. This bound can be simply applied to other fields, discussing diversity, mean-variance, and different tasks. Diff-L2O’s strong compatibility is empirically verified with only minute-level training, comparing with other hour-levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google