SHOT: Suppressing the Hessian along the Optimization Trajectory for Gradient-Based Meta-Learning

要約

この論文では、勾配ベースのメタ学習 (GBML) が内部ループの最適化軌道に沿ってヘッセ行列を暗黙的に抑制すると仮説を立てます。
この仮説に基づいて、ターゲット モデルと参照モデルのパラメーター間の距離を最小化し、内側のループでヘッセ行列を抑制する SHOT (Suppressing the Hessian across the Optimization Trajectory) と呼ばれるアルゴリズムを導入します。
高次の項を扱うにもかかわらず、SHOT はベースライン モデルの計算の複雑さをあまり増加させません。
GBML で使用されるアルゴリズムとアーキテクチャの両方に依存しないため、汎用性が高く、あらゆる GBML ベースラインに適用できます。
SHOT の有効性を検証するために、標準的な数ショット学習タスクに対して実証テストを実施し、そのダイナミクスを定性的に分析します。
私たちは仮説を経験的に確認し、SHOT が対応するベースラインよりも優れていることを実証します。
コードはhttps://github.com/JunHoo-Lee/SHOTから入手できます。

要約(オリジナル)

In this paper, we hypothesize that gradient-based meta-learning (GBML) implicitly suppresses the Hessian along the optimization trajectory in the inner loop. Based on this hypothesis, we introduce an algorithm called SHOT (Suppressing the Hessian along the Optimization Trajectory) that minimizes the distance between the parameters of the target and reference models to suppress the Hessian in the inner loop. Despite dealing with high-order terms, SHOT does not increase the computational complexity of the baseline model much. It is agnostic to both the algorithm and architecture used in GBML, making it highly versatile and applicable to any GBML baseline. To validate the effectiveness of SHOT, we conduct empirical tests on standard few-shot learning tasks and qualitatively analyze its dynamics. We confirm our hypothesis empirically and demonstrate that SHOT outperforms the corresponding baseline. Code is available at: https://github.com/JunHoo-Lee/SHOT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google