Copula Representations and Error Surface Projections for the Exclusive Or Problem

要約

排他的論理和 (xor) 関数は、機械学習アプリケーションにおいて、非線形フィードフォワード ネットワークが線形回帰よりも優れている理由を示す最も単純な例の 1 つです。
xor 表現と近似の問題を検討し、確率論理と結合コピュラ関数の観点からその解決策を議論します。
フィードフォワード ネットワークの仕様を簡単に確認した後、一連のカラフルな 3 次元チャートを通じて、学習された誤差曲面のダイナミクスを RELU や Tanh などのさまざまな活性化関数と比較します。
コピュラ表現は xor をブール値から実数値に拡張するため、サンプル内およびサンプル外のデータ セットに対する相互検証の概念を示す便利な方法が提供されます。
私たちのアプローチは教育的であり、機械学習のプロレゴメノンとなることを目的としています。

要約(オリジナル)

The exclusive or (xor) function is one of the simplest examples that illustrate why nonlinear feedforward networks are superior to linear regression for machine learning applications. We review the xor representation and approximation problems and discuss their solutions in terms of probabilistic logic and associative copula functions. After briefly reviewing the specification of feedforward networks, we compare the dynamics of learned error surfaces with different activation functions such as RELU and tanh through a set of colorful three-dimensional charts. The copula representations extend xor from Boolean to real values, thereby providing a convenient way to demonstrate the concept of cross-validation on in-sample and out-sample data sets. Our approach is pedagogical and is meant to be a machine learning prolegomenon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google