Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning

要約

タイトル：メタラーニングによるシンボリック・モデル非依存損失関数の学習

要約：
– 損失関数の学習に関する新しい研究テーマについて、本論文はその発展を目指す。
– 具体的には、ハイブリッドな神経シンボリック検索アプローチを用いた、モデル非依存の損失関数の学習を提案するメタラーニングフレームワークを提案する。
– このフレームワークは、まず進化的手法を使って原始的な数学演算の空間を探索し、シンボリックな損失関数のセットを見つける。
– 次に、学習した損失関数のセットが勾配ベースのトレーニング手順でパラメータ化され、最適化される。
– 提案されたフレームワークの汎用性は、多様な監視学習タスクで実証される。結果から、新たに提案したメソッドで発見されたメタラーニングされた損失関数が、クロスエントロピー損失関数と最先端の損失関数学習手法の両方を上回り、さまざまなニューラルネットワークアーキテクチャとデータセットで高い性能を発揮することが示された。

要約(オリジナル)

In this paper, we develop upon the emerging topic of loss function learning, which aims to learn loss functions that significantly improve the performance of the models trained under them. Specifically, we propose a new meta-learning framework for learning model-agnostic loss functions via a hybrid neuro-symbolic search approach. The framework first uses evolution-based methods to search the space of primitive mathematical operations to find a set of symbolic loss functions. Second, the set of learned loss functions are subsequently parameterized and optimized via an end-to-end gradient-based training procedure. The versatility of the proposed framework is empirically validated on a diverse set of supervised learning tasks. Results show that the meta-learned loss functions discovered by the newly proposed method outperform both the cross-entropy loss and state-of-the-art loss function learning methods on a diverse range of neural network architectures and datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI