NdLinear Is All You Need for Representation Learning

要約

多くのインパクトのある機械学習タスクには、多次元データ（例：画像、体積医療スキャン、多変量の時系列）が含まれます。
しかし、ほとんどのニューラルアーキテクチャは入力を平らにし、重要な相互次元情報を破棄します。
NdLinearを導入します。これは、これらの構造を余分なオーバーヘッドなしで保存する新しい線形変換です。
各次元に沿って個別に動作することにより、ndLinearは標準の完全に接続されたレイヤーが見落としている依存関係をキャプチャします。
畳み込み、再発性、変圧器ベースのネットワーク全体の広範な実験は、表現力とパラメーター効率の大幅な改善を示しています。
重要なことに、ndlinearは、ネイティブ形式の単峰性またはマルチモーダルデータを操作することにより、大規模な基礎モデルの基礎ビルディングブロックとして機能します。
これにより、平坦化またはモダリティ固有の前処理の必要性が削除されます。
ndlinearは、注意を払ってコアアーキテクチャの優先順位を再考し、より表現力豊かなコンテキスト対応モデルを大規模に可能にします。
標準の線形層のドロップイン置換としてndlinearを提案します。次世代の神経アーキテクチャに向けた重要なステップをマークします。

要約(オリジナル)

Many high-impact machine learning tasks involve multi-dimensional data (e.g., images, volumetric medical scans, multivariate time-series). Yet, most neural architectures flatten inputs, discarding critical cross-dimension information. We introduce NdLinear, a novel linear transformation that preserves these structures without extra overhead. By operating separately along each dimension, NdLinear captures dependencies that standard fully connected layers overlook. Extensive experiments across convolutional, recurrent, and transformer-based networks show significant improvements in representational power and parameter efficiency. Crucially, NdLinear serves as a foundational building block for large-scale foundation models by operating on any unimodal or multimodal data in its native form. This removes the need for flattening or modality-specific preprocessing. Ndlinear rethinks core architectural priorities beyond attention, enabling more expressive, context-aware models at scale. We propose NdLinear as a drop-in replacement for standard linear layers — marking an important step toward next-generation neural architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google