BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer

要約

タイトル：BRENT：双方向検索強化ノルウェー語トランスフォーマー

要約：

– 検索ベースの言語モデルは、全ての事実知識がパラメータに格納されるのではなく、文書のコーパスから関連情報を検索することで、効率性、透明性、適応性が向上する。
– REALMフレームワークを適応し、様々なタスクで評価することで、初めてノルウェー語の検索ベースのモデルを開発する。
– トレーニング後、言語モデルをリーダーとリトリーバーコンポーネントに分離し、さまざまなダウンストリームタスクで微調整できることを示す。
– 検索付き言語モデルの結果、抽出型質問応答においてリーダーの性能が向上し、このタイプのトレーニングがコンテキストを使用する言語モデルの一般的な能力を向上させることを示唆しており、品詞タグ付け、依存構文解析、固有表現認識、レンマ化などの他の能力が犠牲になることはない。
– コード、トレーニング済みモデル、データは公開されている。

要約(オリジナル)

Retrieval-based language models are increasingly employed in question-answering tasks. These models search in a corpus of documents for relevant information instead of having all factual knowledge stored in its parameters, thereby enhancing efficiency, transparency, and adaptability. We develop the first Norwegian retrieval-based model by adapting the REALM framework and evaluating it on various tasks. After training, we also separate the language model, which we call the reader, from the retriever components, and show that this can be fine-tuned on a range of downstream tasks. Results show that retrieval augmented language modeling improves the reader’s performance on extractive question-answering, suggesting that this type of training improves language models’ general ability to use context and that this does not happen at the expense of other abilities such as part-of-speech tagging, dependency parsing, named entity recognition, and lemmatization. Code, trained models, and data are made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI