Scaling Transformer to 1M tokens and beyond with RMT

要約

タイトル：RMTによる1Mトークン以上のTransformerのスケーリング

要約：
– 本論文は、自然言語処理において最も効果的なTransformerモデルの1つであるBERTの文脈長を拡張するために再帰的メモリを使用する手法を示している。
– Recurrent Memory Transformerアーキテクチャを活用することで、モデルの効果的な文脈長を過去にない200万トークンまで拡張することに成功し、高いメモリ取り出し精度を維持している。
– この手法は、ローカルとグローバルな情報の蓄積と処理を可能にし、再帰を使用して入力シーケンスのセグメント間で情報のフローを実現する。
– 実験結果は、今回開発した手法が長期的な依存関係の処理を向上させるだけでなく、記憶集約型アプリケーションの大規模な文脈処理を可能にすることができる可能性を示している。

要約(オリジナル)

This technical report presents the application of a recurrent memory to extend the context length of BERT, one of the most effective Transformer-based models in natural language processing. By leveraging the Recurrent Memory Transformer architecture, we have successfully increased the model’s effective context length to an unprecedented two million tokens, while maintaining high memory retrieval accuracy. Our method allows for the storage and processing of both local and global information and enables information flow between segments of the input sequence through the use of recurrence. Our experiments demonstrate the effectiveness of our approach, which holds significant potential to enhance long-term dependency handling in natural language understanding and generation tasks as well as enable large-scale context processing for memory-intensive applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI