T-Norms Driven Loss Functions for Machine Learning

要約

ニューラル シンボリック アプローチは、データからこの知識を誘導する必要なく、事前知識を学習者に注入するために最近人気を博しています。
これらのアプローチは、教師データの量を大幅に削減して、競合ソリューションを学習できる可能性があります。
大規模なクラスのニューラル シンボリック アプローチは、ファジー ロジックを使用して微分可能な形式に緩和された事前知識を表す一次ロジックに基づいています。
この論文では、これらのニューラル シンボリック学習タスクを表す損失関数が、t ノルム ジェネレーターの選択によって明確に決定できることを示しています。
教師あり学習に限定すると、提示された理論的装置は、より高速な収束を提供し、非常に深い構造での勾配消失問題を軽減することが示されている、一般的なクロスエントロピー損失に対する明確な正当化を提供します。
ただし、提案された学習定式化は、クロスエントロピー損失の利点を、ニューラルシンボリック法で表現できる一般的な知識にまで拡張します。
したがって、この方法論により、実験結果で示されている新しいクラスの損失関数の開発が可能になり、以前に文献で提案されたアプローチよりも収束速度が速くなります。

要約(オリジナル)

Neural-symbolic approaches have recently gained popularity to inject prior knowledge into a learner without requiring it to induce this knowledge from data. These approaches can potentially learn competitive solutions with a significant reduction of the amount of supervised data. A large class of neural-symbolic approaches is based on First-Order Logic to represent prior knowledge, relaxed to a differentiable form using fuzzy logic. This paper shows that the loss function expressing these neural-symbolic learning tasks can be unambiguously determined given the selection of a t-norm generator. When restricted to supervised learning, the presented theoretical apparatus provides a clean justification to the popular cross-entropy loss, which has been shown to provide faster convergence and to reduce the vanishing gradient problem in very deep structures. However, the proposed learning formulation extends the advantages of the cross-entropy loss to the general knowledge that can be represented by a neural-symbolic method. Therefore, the methodology allows the development of a novel class of loss functions, which are shown in the experimental results to lead to faster convergence rates than the approaches previously proposed in the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google