Key Information Retrieval to Classify the Unstructured Data Content of Preferential Trade Agreements

要約

テキスト データの急速な急増に伴い、長いテキストの予測が自然言語処理の分野における重大な課題として浮上しています。
従来のテキスト予測方法は、長いテキストに取り組むときに大きな困難に直面します。これは主に冗長で無関係な情報の存在が原因で、テキストから重要な洞察を得るモデルの能力が妨げられます。
この問題に対処するために、長文の分類と予測に対する新しいアプローチを導入します。
最初に、埋め込み技術を使用して長いテキストを圧縮し、その冗長性を軽減します。
その後、トランスフォーマーからの双方向エンコーダー表現 (BERT) 埋め込み方法がテキスト分類トレーニングに利用されます。
実験結果は、私たちの方法が特恵貿易協定の長いテキストを分類する際に大幅なパフォーマンスの向上を実現することを示しています。
さらに、埋め込み手法によるテキストの圧縮により、予測精度が向上するだけでなく、計算の複雑さも大幅に軽減されます。
全体として、この論文は長文予測の戦略を提示し、自然言語処理分野の研究者やエンジニアに貴重な参考資料を提供します。

要約(オリジナル)

With the rapid proliferation of textual data, predicting long texts has emerged as a significant challenge in the domain of natural language processing. Traditional text prediction methods encounter substantial difficulties when grappling with long texts, primarily due to the presence of redundant and irrelevant information, which impedes the model’s capacity to capture pivotal insights from the text. To address this issue, we introduce a novel approach to long-text classification and prediction. Initially, we employ embedding techniques to condense the long texts, aiming to diminish the redundancy therein. Subsequently,the Bidirectional Encoder Representations from Transformers (BERT) embedding method is utilized for text classification training. Experimental outcomes indicate that our method realizes considerable performance enhancements in classifying long texts of Preferential Trade Agreements. Furthermore, the condensation of text through embedding methods not only augments prediction accuracy but also substantially reduces computational complexity. Overall, this paper presents a strategy for long-text prediction, offering a valuable reference for researchers and engineers in the natural language processing sphere.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google