Memory Mosaics

要約

メモリ モザイクは、関心のある予測タスクを達成するために連携して動作する連想記憶のネットワークです。
トランスフォーマーと同様に、記憶モザイクは構成機能とコンテキスト内学習機能を備えています。
トランスとは異なり、メモリ モザイクはこれらの機能を比較的透過的な方法で実現します。
おもちゃの例でこれらの機能を実証し、中規模の言語モデリング タスクではメモリ モザイクがトランスフォーマーと同等以上のパフォーマンスを発揮することも示します。

要約(オリジナル)

Memory Mosaics are networks of associative memories working in concert to achieve a prediction task of interest. Like transformers, memory mosaics possess compositional capabilities and in-context learning capabilities. Unlike transformers, memory mosaics achieve these capabilities in comparatively transparent ways. We demonstrate these capabilities on toy examples and we also show that memory mosaics perform as well or better than transformers on medium-scale language modeling tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google