NdLinear: Don’t Flatten! Building Superior Neural Architectures by Preserving N-D Structure

要約

多くの衝撃的な機械学習タスクには、画像、体積医療スキャン、多変量の時系列などの多次元データが含まれます。
しかし、ほとんどのニューラルアーキテクチャはこれらの入力を平らにし、重要な相互次元情報を破棄します。
$ \ textbf {ndlinear} $を導入します。これは、テンソルで直接動作することにより、この破壊的な平坦化を回避する新しい線形変換です。
Ndlinearは、各データディメンションに沿って変換を個別に適用し、それによりネイティブデータ構造を保存します。
広範な実験は、表現力を大幅に向上させ、劇的なパラメーターの削減（多くの場合数桁）を達成し、好ましい計算プロファイルを維持するndlinearの能力を示しています。
たとえば、大規模な言語モデルのFinetuningに適用すると、$ \ textBf {ndlinear-Lora} $は、標準のロラよりも最大$ 9 \ times $ $のトレーニング可能なパラメーターを使用して、推論タスクの同等の精度または改善された精度を実現します。
Ndlinearのこれらの幅広い利点は、多様な神経アーキテクチャ（CNNS、RNNS、トランス、MLP）と、ビジョン、言語、時系列、表形式のタスクを含むデータドメイン全体で一貫して検証されています。
標準線形層の多用途のドロップイン置換として、NdLinearは元のN次元形式でデータを処理し、より効率的で強力な次世代神経アーキテクチャを開発するための基礎コンポーネントを提供します。

要約(オリジナル)

Many high-impact machine learning tasks involve multi-dimensional data such as images, volumetric medical scans, and multivariate time-series. Yet, most neural architectures flatten these inputs, discarding critical cross-dimension information. We introduce $\textbf{NdLinear}$, a novel linear transformation that circumvents this destructive flattening by operating directly on tensors. NdLinear applies transformations separately along each data dimension, thereby preserving the native data structure. Extensive experiments demonstrate NdLinear’s capacity to significantly enhance representational power, achieve dramatic parameter reductions (often by orders of magnitude), and maintain a favorable computational profile. For instance, when applied to Large Language Model finetuning, our $\textbf{NdLinear-LoRA}$ delivers comparable or improved accuracy on reasoning tasks using up to $9\times$ fewer trainable parameters than standard LoRA. These broad advantages of NdLinear are consistently validated across diverse neural architectures (CNNs, RNNs, Transformers, MLPs) and data domains, including vision, language, time-series, and tabular tasks. As a versatile, drop-in replacement for standard linear layers, NdLinear processes data in its original N-dimensional form, offering a foundational component for developing more efficient and powerful next-generation neural architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google