A Hybrid Architecture with Efficient Fine Tuning for Abstractive Patent Document Summarization

要約

イノベーションの巨大な成長により、特許分析と理解力手順に役立つ自動特許の要約アプローチは、高い需要があります。
自然言語処理（NLP）、テキストマイニング、およびディープラーニングの開発により、豊富な種類のドキュメントのテキスト要約モデルの有効性が顕著になりました。
特許テキストの要約は、技術的および合法的な複雑さを含むこれらのドキュメントの迷路の執筆スタイルのため、依然として関連する課題です。
さらに、これらの特許文書の内容は、要約のために適切な情報を抽出するプロセスを複雑にする典型的なドキュメントよりもかなり長くなっています。
抽出的で抽象的なテキスト要約の方法論をハイブリッドフレームワークに具体化するこの研究では、特許記録の抽象的な要約を効率的に作成するためのシステムを提案しています。
この手順では、Lexrankグラフベースのアルゴリズムを活用して、入力親テキストから重要な文を取得し、テキストの概要を作成するための低いランク適応（LORA）を使用して微調整された双方向の自動回帰トランス（BART）モデルを利用します。
これには、系統的なテストと評価戦略が伴います。
さらに、著者は、複数の特許フィールドにわたって抽象的コンポーネントのドメイン一般化（DG）を達成するために、特定のメタ学習技術を採用しました。

要約(オリジナル)

Automatic patent summarization approaches that help in the patent analysis and comprehension procedure are in high demand due to the colossal growth of innovations. The development of natural language processing (NLP), text mining, and deep learning has notably amplified the efficacy of text summarization models for abundant types of documents. Summarizing patent text remains a pertinent challenge due to the labyrinthine writing style of these documents, which includes technical and legal intricacies. Additionally, these patent document contents are considerably lengthier than archetypal documents, which intricates the process of extracting pertinent information for summarization. Embodying extractive and abstractive text summarization methodologies into a hybrid framework, this study proposes a system for efficiently creating abstractive summaries of patent records. The procedure involves leveraging the LexRank graph-based algorithm to retrieve the important sentences from input parent texts, then utilizing a Bidirectional Auto-Regressive Transformer (BART) model that has been fine-tuned using Low-Ranking Adaptation (LoRA) for producing text summaries. This is accompanied by methodical testing and evaluation strategies. Furthermore, the author employed certain meta-learning techniques to achieve Domain Generalization (DG) of the abstractive component across multiple patent fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google