Classification and Reconstruction Processes in Deep Predictive Coding Networks: Antagonists or Allies?

要約

ビジュアル コンピューティング向けの予測コーディングにインスピレーションを得たディープ ネットワークは、共有中間層で分類と再構成のプロセスを統合します。
これらのプロセス間の相乗効果は一般的に想定されていますが、それはまだ説得力を持って実証されていません。
この研究では、深層学習アーキテクチャにおいて分類と再構成がどのように相互作用するかを批判的に考察します。
私たちのアプローチでは、オートエンコーダーを彷彿とさせる意図的に設計されたモデル アーキテクチャのファミリーを利用します。各モデルには、さまざまなモジュールと複雑さを特徴とするエンコーダー、デコーダー、および分類ヘッドが装備されています。
私たちは、分類および再構築による情報がモデル アーキテクチャの共有潜在層内でどの程度シームレスに共存できるかを注意深く分析します。
私たちの発見は、重要な課題を浮き彫りにしています。分類主導の情報は、中間層の共有表現における再構成主導の情報を減少させ、その逆も同様です。
共有表現の次元を拡張したり、ネットワークの複雑さを増大させたりすると、このトレードオフ効果を軽減できますが、私たちの結果は、予測コーディングにおける一般的な仮定に疑問を投げかけ、ディープネットワークにおける予測コーディングの概念の将来の反復のための指針を提供します。

要約(オリジナル)

Predictive coding-inspired deep networks for visual computing integrate classification and reconstruction processes in shared intermediate layers. Although synergy between these processes is commonly assumed, it has yet to be convincingly demonstrated. In this study, we take a critical look at how classifying and reconstructing interact in deep learning architectures. Our approach utilizes a purposefully designed family of model architectures reminiscent of autoencoders, each equipped with an encoder, a decoder, and a classification head featuring varying modules and complexities. We meticulously analyze the extent to which classification- and reconstruction-driven information can seamlessly coexist within the shared latent layer of the model architectures. Our findings underscore a significant challenge: Classification-driven information diminishes reconstruction-driven information in intermediate layers’ shared representations and vice versa. While expanding the shared representation’s dimensions or increasing the network’s complexity can alleviate this trade-off effect, our results challenge prevailing assumptions in predictive coding and offer guidance for future iterations of predictive coding concepts in deep networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google