Scalar Invariant Networks with Zero Bias

要約

重みと同様に、バイアス項は、ニューラル ネットワークを含む多くの一般的な機械学習モデルの学習可能なパラメーターです。
バイアスはニューラル ネットワークの表現力を強化し、コンピューター ビジョンにおけるさまざまなタスクを解決できるようにすると考えられています。
ただし、入力空間内の画像の固有の分布と第一原理に基づく望ましいモデルの特性を考慮することで、画像分類などの一部の画像関連タスクではバイアスを無視できると主張します。
私たちの調査結果は、ゼロバイアス ニューラル ネットワークが実際の画像分類タスクにおいてバイアス付きネットワークと同等のパフォーマンスを発揮できることを示唆しています。
ゼロバイアス ニューラル ネットワークには、スカラー (乗算) 不変性と呼ばれる貴重な特性があることを示します。
これは、入力画像のコントラストが変更されても、ネットワークの予測は変化しないことを意味します。
スカラー不変性をより一般的なケースに拡張し、入力空間の特定の凸領域の形式的な検証を可能にします。
さらに、ゼロバイアス ニューラル ネットワークがゼロ画像を予測する際に公平であることを証明します。
特定のラベルに対するバイアスを示す可能性のある最先端のモデルとは異なり、ゼロバイアス ネットワークはすべてのラベルに対して均一な信念を持っています。
私たちは、ドロップバイアス項は、画像分類用のニューラルネットワークアーキテクチャを設計する際の幾何学的事前条件として考慮できると考えており、これは、国境を越えた不変事前条件として畳み込みを適応させる精神を共有しています。
ゼロバイアス ニューラル ネットワークの堅牢性と公平性の利点は、信頼できる倫理的な AI への有望な道筋を示す可能性もあります。

要約(オリジナル)

Just like weights, bias terms are the learnable parameters of many popular machine learning models, including neural networks. Biases are thought to enhance the representational power of neural networks, enabling them to solve a variety of tasks in computer vision. However, we argue that biases can be disregarded for some image-related tasks such as image classification, by considering the intrinsic distribution of images in the input space and desired model properties from first principles. Our findings suggest that zero-bias neural networks can perform comparably to biased networks for practical image classification tasks. We demonstrate that zero-bias neural networks possess a valuable property called scalar (multiplication) invariance. This means that the prediction of the network remains unchanged when the contrast of the input image is altered. We extend scalar invariance to more general cases, enabling formal verification of certain convex regions of the input space. Additionally, we prove that zero-bias neural networks are fair in predicting the zero image. Unlike state-of-the-art models that may exhibit bias toward certain labels, zero-bias networks have uniform belief in all labels. We believe dropping bias terms can be considered as a geometric prior in designing neural network architecture for image classification, which shares the spirit of adapting convolutions as the transnational invariance prior. The robustness and fairness advantages of zero-bias neural networks may also indicate a promising path towards trustworthy and ethical AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google