Summarizing long regulatory documents with a multi-step pipeline

要約

その長さと複雑さのため、長い規制文書を要約するのは困難です。
これに対処するために、長い規制文書をより効果的に処理するための、複数ステップの抽出-抽象アーキテクチャが提案されています。
この論文では、長い規制文書を要約するための 2 段階のアーキテクチャの有効性が、使用されるモデルに応じて大きく異なることを示します。
具体的には、2 段階のアーキテクチャにより、デコーダのみのモデルのパフォーマンスが向上します。
コンテキスト長が短い抽象的なエンコーダ/デコーダ モデルの場合、抽出ステップの有効性は変化しますが、コンテキストが長いエンコーダ/デコーダ モデルの場合、抽出ステップによりパフォーマンスが低下します。
この調査では、人間による評価と自動化された評価とは異なる結果が示すように、生成されたテキストを評価する際の課題も浮き彫りになっています。
最も注目すべき点は、人間による評価では法律文書に基づいて事前トレーニングされた言語モデルが好まれたのに対し、自動化されたメトリクスでは汎用言語モデルが上位にランク付けされたことです。
この結果は、モデル アーキテクチャとコンテキストの長さに基づいて適切な要約戦略を選択することの重要性を強調しています。

要約(オリジナル)

Due to their length and complexity, long regulatory texts are challenging to summarize. To address this, a multi-step extractive-abstractive architecture is proposed to handle lengthy regulatory documents more effectively. In this paper, we show that the effectiveness of a two-step architecture for summarizing long regulatory texts varies significantly depending on the model used. Specifically, the two-step architecture improves the performance of decoder-only models. For abstractive encoder-decoder models with short context lengths, the effectiveness of an extractive step varies, whereas for long-context encoder-decoder models, the extractive step worsens their performance. This research also highlights the challenges of evaluating generated texts, as evidenced by the differing results from human and automated evaluations. Most notably, human evaluations favoured language models pretrained on legal text, while automated metrics rank general-purpose language models higher. The results underscore the importance of selecting the appropriate summarization strategy based on model architecture and context length.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google