CantorNet: A Sandbox for Testing Topological and Geometrical Measures

要約

多くの自然現象は、人間の顔の対称性や歌の反復的なモチーフなど、自己相似性によって特徴付けられます。
このような対称性を研究することで、複雑なシステムの根底にあるメカニズムについてより深い洞察を得ることができます。
これらのパターンを理解することの重要性を認識し、人工ニューラル ネットワークでそのような現象を研究するための幾何学的にインスピレーションを受けたフレームワークを提案します。
この目的を達成するために、$19^\text{th}$ 世紀に Georg Cantor によって導入されたカントール集合の 3 項構成に触発された \emph{CantorNet} を導入します。
数学では、カントール集合は、自己相似であり、不可算無限のヌル集合であるという直観に反する特性を持つ、単一線上にある点の集合です。
同様に、新しい位相的および幾何学的複雑さの尺度によって自己相似性を研究するためのサンドボックスとして CantorNet を紹介します。
CantorNet は、2 つの相反する記述 (記述長によって測定される線形および指数関数) を含む、考えられるコルモゴロフの複雑さの全範囲にわたる ReLU ニューラル ネットワークのファミリーを構成します。
CantorNet の決定境界は任意に不規則になる可能性がありますが、分析的にはわかっています。
私たちの研究は、複雑さ対策の実験場として機能するだけでなく、ジオメトリを無視したデータ拡張技術や敵対的攻撃の潜在的な落とし穴を説明するのにも役立つ可能性があります。

要約(オリジナル)

Many natural phenomena are characterized by self-similarity, for example the symmetry of human faces, or a repetitive motif of a song. Studying of such symmetries will allow us to gain deeper insights into the underlying mechanisms of complex systems. Recognizing the importance of understanding these patterns, we propose a geometrically inspired framework to study such phenomena in artificial neural networks. To this end, we introduce \emph{CantorNet}, inspired by the triadic construction of the Cantor set, which was introduced by Georg Cantor in the $19^\text{th}$ century. In mathematics, the Cantor set is a set of points lying on a single line that is self-similar and has a counter intuitive property of being an uncountably infinite null set. Similarly, we introduce CantorNet as a sandbox for studying self-similarity by means of novel topological and geometrical complexity measures. CantorNet constitutes a family of ReLU neural networks that spans the whole spectrum of possible Kolmogorov complexities, including the two opposite descriptions (linear and exponential as measured by the description length). CantorNet’s decision boundaries can be arbitrarily ragged, yet are analytically known. Besides serving as a testing ground for complexity measures, our work may serve to illustrate potential pitfalls in geometry-ignorant data augmentation techniques and adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google