Analyzing Vietnamese Legal Questions Using Deep Neural Networks with Biaffine Classifiers

要約

タイトル：バイアフィン分類器を使用したディープニューラルネットワークによるベトナムの法的質問の分析

要約：

– この論文では、法的領域における質問応答システムを構築するために、ベトナムの法的質問から重要な情報を抽出するためにディープニューラルネットワークを使用することを提案しています。
– 自然言語で表現された法的質問が与えられた場合、目的は質問に答えるために必要な情報を含むすべてのセグメントを抽出することです。
– このタスクを解決するために、3つのステージで構成されるディープモデルを導入します。最初に、最近発展したオートエンコーディング言語モデルを利用して、文脈に関する単語の埋め込みを生成し、次に、文字レベルとPOSタグ情報を組み合わせて単語表現を形成します。
– 次に、双方向の長短期記憶ネットワークを使用して、単語の関係を捉え、文レベルの表現を生成します。
– 最後に、入力文についてグラフベースの依存構造解析手法からアイデアを借りて、バイアフィン分類器を使用して、重要なセグメントである各開始-終了単語のペアの確率を推定します。
– 公開されたベトナムの法的データセットでの実験結果は、従来の手法を大きく上回り、F1スコアで94.79％となりました。結果は、事前学習された言語モデルからの文脈特徴量を限られたデータセットでトレーニングする際に文字レベルやPOSタグ特徴量と組み合わせることの効果を示しました。

要約(オリジナル)

In this paper, we propose using deep neural networks to extract important information from Vietnamese legal questions, a fundamental task towards building a question answering system in the legal domain. Given a legal question in natural language, the goal is to extract all the segments that contain the needed information to answer the question. We introduce a deep model that solves the task in three stages. First, our model leverages recent advanced autoencoding language models to produce contextual word embeddings, which are then combined with character-level and POS-tag information to form word representations. Next, bidirectional long short-term memory networks are employed to capture the relations among words and generate sentence-level representations. At the third stage, borrowing ideas from graph-based dependency parsing methods which provide a global view on the input sentence, we use biaffine classifiers to estimate the probability of each pair of start-end words to be an important segment. Experimental results on a public Vietnamese legal dataset show that our model outperforms the previous work by a large margin, achieving 94.79% in the F1 score. The results also prove the effectiveness of using contextual features extracted from pre-trained language models combined with other types of features such as character-level and POS-tag features when training on a limited dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI