Detecting Spells in Fantasy Literature with a Transformer Based Artificial Intelligence

要約

Transformer のアーキテクチャとモデルは、言語ベースのタスクにおいて大幅な進歩を遂げました。
この分野では、BERT は最も広く使用されており、自由に利用できるトランス アーキテクチャの 1 つです。
私たちの研究では、ハリー・ポッターの小説シリーズに登場する魔法の呪文のコンテキストベースのフレーズ認識に BERT を使用しています。
呪文は、ファンタジー小説におけるアクティブな魔法の一般的な部分です。
通常、呪文は超自然的な効果を実現するために特定の状況で使用されます。
Transformer アーキテクチャがハリー ポッター物語の文脈に基づいてそのようなフレーズを認識できるかどうかを確認するために、一連の調査が行われました。
私たちの研究では、事前トレーニングされた BERT モデルが使用され、検索されたコンテキストを識別するためにさまざまなデータセットとトレーニング方法を利用して微調整されました。
トークンの分類だけでなくシーケンスの分類にもさまざまなアプローチを考慮することで、呪文のコンテキストを認識できることが示されています。
私たちの調査によると、モデルの微調整と検証のために調べられたシーケンスの長さは、コンテキスト認識において重要な役割を果たしています。
これに基づいて、私たちは呪文がニューラル ネットワーク モデルを他のファンタジー世界にも転送できる包括的な特性を持っているかどうかを調査しました。
私たちのモデルの適用は有望な結果を示したので、その後の研究でさらに深める価値があります。

要約(オリジナル)

Transformer architectures and models have made significant progress in language-based tasks. In this area, is BERT one of the most widely used and freely available transformer architecture. In our work, we use BERT for context-based phrase recognition of magic spells in the Harry Potter novel series. Spells are a common part of active magic in fantasy novels. Typically, spells are used in a specific context to achieve a supernatural effect. A series of investigations were conducted to see if a Transformer architecture could recognize such phrases based on their context in the Harry Potter saga. For our studies a pre-trained BERT model was used and fine-tuned utilising different datasets and training methods to identify the searched context. By considering different approaches for sequence classification as well as token classification, it is shown that the context of spells can be recognised. According to our investigations, the examined sequence length for fine-tuning and validation of the model plays a significant role in context recognition. Based on this, we have investigated whether spells have overarching properties that allow a transfer of the neural network models to other fantasy universes as well. The application of our model showed promising results and is worth to be deepened in subsequent studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google