Bringing order into the realm of Transformer-based language models for artificial intelligence and law

要約

トランスフォーマーベースの言語モデル (TLM) は、自然言語の処理と理解を必要とする問題やアプリケーションに対する深層学習ベースのソリューションの開発を成功させるための最先端のテクノロジーであると広く認識されています。
他のテキスト領域と同様に、TLM は確かに、法律領域で関心のある多くのタスクに対して最先端の AI アプローチを推進してきました。
最初の Transformer モデルは約 6 年前に提案されたにもかかわらず、このテクノロジーは前例のない速度で急速に進歩しており、BERT および関連モデルは法律分野でも主要な参考資料となっています。
この記事では、法律分野における AI 主導型の問題およびタスクに対する TLM ベースの手法の体系的な概要を初めて説明します。
主な目標は、この分野における研究の進歩に焦点を当て、法的手続きをサポートする AI の成功にトランスフォーマーがどのように貢献してきたかを理解すること、また他方で、法的手続きのサポートにおける現在の限界と機会は何かを理解することです。
さらなる研究開発。

要約(オリジナル)

Transformer-based language models (TLMs) have widely been recognized to be a cutting-edge technology for the successful development of deep-learning-based solutions to problems and applications that require natural language processing and understanding. Like for other textual domains, TLMs have indeed pushed the state-of-the-art of AI approaches for many tasks of interest in the legal domain. Despite the first Transformer model being proposed about six years ago, there has been a rapid progress of this technology at an unprecedented rate, whereby BERT and related models represent a major reference, also in the legal domain. This article provides the first systematic overview of TLM-based methods for AI-driven problems and tasks in the legal sphere. A major goal is to highlight research advances in this field so as to understand, on the one hand, how the Transformers have contributed to the success of AI in supporting legal processes, and on the other hand, what are the current limitations and opportunities for further research development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google