Comply: Learning Sentences with Complex Weights inspired by Fruit Fly Olfaction

要約

生物学的にインスピレーションを受けたニューラルネットワークは、データ分布をモデル化するための代替手段を提供します。
Flyvecは、Fruit Flyの嗅覚回路からインスピレーションを引き出し、単語の埋め込みを学習するタスクに取り組む最近の例です。
驚くべきことに、このモデルは、テキストをエンコードするように特別に設計された深い学習アプローチに対して競争力のあるパフォーマンスを発揮します。
このパフォーマンスをさらに改善できるかどうかという疑問を投げかけます。
このために、Complyを紹介します。
複雑な重みを介して位置情報を組み込むことにより、単一層ニューラルネットワークがシーケンス表現を学習できるようにします。
私たちの実験は、FlyVecに取って代わるだけでなく、最先端のモデルが大幅に大きくなることと同等に機能することを示しています。
追加のパラメーターなしでこれを達成します。
遵守して、ニューロンの重量から明示的に解釈できる文のまばらな文脈表現を生成します。

要約(オリジナル)

Biologically inspired neural networks offer alternative avenues to model data distributions. FlyVec is a recent example that draws inspiration from the fruit fly’s olfactory circuit to tackle the task of learning word embeddings. Surprisingly, this model performs competitively even against deep learning approaches specifically designed to encode text, and it does so with the highest degree of computational efficiency. We pose the question of whether this performance can be improved further. For this, we introduce Comply. By incorporating positional information through complex weights, we enable a single-layer neural network to learn sequence representations. Our experiments show that Comply not only supersedes FlyVec but also performs on par with significantly larger state-of-the-art models. We achieve this without additional parameters. Comply yields sparse contextual representations of sentences that can be interpreted explicitly from the neuron weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google