Banyan: Improved Representation Learning with Explicit Structure

要約

Banyanは、明示的な階層構造を活用することにより、意味表現を効率的に学習するモデルです。
トランスフォーマーは大規模に優れている間、彼らは低リソースの設定で苦労しています。
逆に、最近の構造化されたモデルは効率的な学習者として有望であることを示していますが、パフォーマンスがありません。
Banyanは、このギャップを2つの重要な革新で橋渡しします：絡み合った階層ツリー構造と斜めのメッセージの渡されたメッセージの渡され、14の非編集パラメーターでより大きなトランスモデルを上回ることができます。
低リソースの設定で優れており、過小評価されている言語の実行可能な代替品を提供し、リソースが制約された環境で効率的で解釈可能なNLPの可能性を強調します。

要約(オリジナル)

We present Banyan, a model that efficiently learns semantic representations by leveraging explicit hierarchical structure. While transformers excel at scale, they struggle in low-resource settings. Conversely recent structured models have shown promise as efficient learners, but lack performance. Banyan bridges this gap with two key innovations: an entangled hierarchical tree structure and diagonalized message passing, enabling it to outperform larger transformer models with just 14 non-embedding parameters. It excels in low-resource settings, offering a viable alternative for under-represented languages and highlighting its potential for efficient, interpretable NLP in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google