CantorNet: A Sandbox for Testing Geometrical and Topological Complexity Measures

要約

多くの自然現象は、たとえば人間の顔の対称性、または歌の反復モチーフなど、自己類似性によって特徴付けられます。
このような対称性を研究することで、複雑なシステムの根底にあるメカニズムに対するより深い洞察を得ることができます。
これらのパターンを理解することの重要性を認識して、人工ニューラルネットワークでそのような現象を研究するための幾何学的に触発されたフレームワークを提案します。
この目的のために、$ 19^\ \ Text {th} $ CenturyでGeorg Cantorによって導入されたCantorセットのトライアド構造に触発された\ emph {cantornet}を紹介します。
数学では、Cantorセットは、自己類似の単一ラインに横たわるポイントのセットであり、無限の無限のヌルセットであるというカウンター直感的な特性を持っています。
同様に、新しいトポロジーおよび幾何学的な複雑さの尺度を使用して、自己類似性を研究するためのサンドボックスとしてCantornetを紹介します。
Cantornetは、2つの反対の説明を含む、可能なコルモゴロフの複雑さの全スペクトルに及ぶ、関係性ニューラルネットワークのファミリーを構成します（説明の長さで測定する線形と指数）。
Cantornetの決定境界は、arbitrarily意的にぼろぼろになる可能性がありますが、分析的に知られています。
複雑さの測定のテスト場としての役に加えて、私たちの研究は、幾何学的無知のデータ増強技術と敵対的攻撃の潜在的な落とし穴を説明するのに役立つかもしれません。

要約(オリジナル)

Many natural phenomena are characterized by self-similarity, for example the symmetry of human faces, or a repetitive motif of a song. Studying of such symmetries will allow us to gain deeper insights into the underlying mechanisms of complex systems. Recognizing the importance of understanding these patterns, we propose a geometrically inspired framework to study such phenomena in artificial neural networks. To this end, we introduce \emph{CantorNet}, inspired by the triadic construction of the Cantor set, which was introduced by Georg Cantor in the $19^\text{th}$ century. In mathematics, the Cantor set is a set of points lying on a single line that is self-similar and has a counter intuitive property of being an uncountably infinite null set. Similarly, we introduce CantorNet as a sandbox for studying self-similarity by means of novel topological and geometrical complexity measures. CantorNet constitutes a family of ReLU neural networks that spans the whole spectrum of possible Kolmogorov complexities, including the two opposite descriptions (linear and exponential as measured by the description length). CantorNet’s decision boundaries can be arbitrarily ragged, yet are analytically known. Besides serving as a testing ground for complexity measures, our work may serve to illustrate potential pitfalls in geometry-ignorant data augmentation techniques and adversarial attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google