Optimal Symmetries in Binary Classification

要約

我々は、二項分類タスクにおけるグループ対称性の役割を調査し、ネイマン・ピアソン最適性の原理を活用する新しいフレームワークを提示します。
対称性グループが大きいほど分類パフォーマンスが向上するという一般的な直観に反して、今回の調査結果は、一般化とサンプル効率の最適化には、適切なグループ対称性の選択が重要であることを示しています。
私たちは、対称性の選択をデータの基礎となる確率分布に合わせて調整するグループ等変ニューラル ネットワークを設計するための理論的基盤を開発します。
私たちのアプローチは、問題の特定の特性に合わせて対称グループを注意深く調整することにより、幅広いアプリケーションにわたって分類精度を向上させるための統一された方法論を提供します。
理論分析と実験結果は、適切なサブグループの 1 つで尤度比が不変である場合でも、最適な分類パフォーマンスは常にドメイン内で可能な最大の等変グループに関連付けられるわけではなく、むしろそれらのサブグループ自体に関連付けられることを示しています。
この研究は、さまざまな機械学習コンテキストにおいて、より効果的なグループ等変アーキテクチャを構築するための洞察と実践的なガイドラインを提供します。

要約(オリジナル)

We explore the role of group symmetries in binary classification tasks, presenting a novel framework that leverages the principles of Neyman-Pearson optimality. Contrary to the common intuition that larger symmetry groups lead to improved classification performance, our findings show that selecting the appropriate group symmetries is crucial for optimising generalisation and sample efficiency. We develop a theoretical foundation for designing group equivariant neural networks that align the choice of symmetries with the underlying probability distributions of the data. Our approach provides a unified methodology for improving classification accuracy across a broad range of applications by carefully tailoring the symmetry group to the specific characteristics of the problem. Theoretical analysis and experimental results demonstrate that optimal classification performance is not always associated with the largest equivariant groups possible in the domain, even when the likelihood ratio is invariant under one of its proper subgroups, but rather with those subgroups themselves. This work offers insights and practical guidelines for constructing more effective group equivariant architectures in diverse machine-learning contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google