Adaptive Growth: Real-time CNN Layer Expansion

要約

ディープ ニューラル ネットワーク (DNN) は、膨大なデータ セットの管理における熟練度を反映して、数多くのアプリケーションで比類のない成果を上げています。
しかし、その静的な構造により、絶えず変化する環境への適応性が制限されます。
この研究では、既存の DNN にシームレスに統合しながら、畳み込みニューラル ネットワーク (CNN) の畳み込み層をデータ入力に基づいて動的に進化させる新しいアルゴリズムを紹介します。
私たちのアプローチでは、厳格なアーキテクチャの代わりに、カーネルを畳み込み層に繰り返し導入し、さまざまなデータに対するリアルタイムの応答を測定します。
このプロセスは、画像の特徴を識別するレイヤーの能力を評価することで洗練され、レイヤーの成長を導きます。
注目すべきことに、私たちの教師なし手法は、MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100 などのさまざまなデータセットにわたって、教師あり手法を上回っています。
また、転移学習シナリオにおける適応性の強化も示しています。
データ駆動型モデルのスケーラビリティ戦略を導入することで、ディープ ラーニングの空白を埋め、動的な設定に適したより柔軟で効率的な DNN を実現します。
コード:(https://github.com/YunjieZhu/Extensible-Convolutional-Layer-git-version)。

要約(オリジナル)

Deep Neural Networks (DNNs) have shown unparalleled achievements in numerous applications, reflecting their proficiency in managing vast data sets. Yet, their static structure limits their adaptability in ever-changing environments. This research presents a new algorithm that allows the convolutional layer of a Convolutional Neural Network (CNN) to dynamically evolve based on data input, while still being seamlessly integrated into existing DNNs. Instead of a rigid architecture, our approach iteratively introduces kernels to the convolutional layer, gauging its real-time response to varying data. This process is refined by evaluating the layer’s capacity to discern image features, guiding its growth. Remarkably, our unsupervised method has outstripped its supervised counterparts across diverse datasets like MNIST, Fashion-MNIST, CIFAR-10, and CIFAR-100. It also showcases enhanced adaptability in transfer learning scenarios. By introducing a data-driven model scalability strategy, we are filling a void in deep learning, leading to more flexible and efficient DNNs suited for dynamic settings. Code:(https://github.com/YunjieZhu/Extensible-Convolutional-Layer-git-version).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google