Segmenting Messy Text: Detecting Boundaries in Text Derived from Historical Newspaper Images

要約

テキストのセグメンテーション (文書をセクションに分割するタスク) は、多くの場合、追加の自然言語処理タスクを実行するための前提条件となります。
既存のテキスト セグメンテーション手法は通常、明確なトピックを含むセグメントを含む、きれいな物語形式のテキストを使用して開発およびテストされてきました。
ここでは、新聞の結婚発表リストを 1 つの発表ごとの単位に分割するという、難しいテキスト分割タスクを考えます。
多くの場合、情報は文に構造化されておらず、隣接するセグメントはトピック的に互いに区別されません。
さらに、光学式文字認識を介して歴史的な新聞の画像から抽出された発表のテキストには、多くのタイプミスが含まれています。
結果として、これらの発表は既存の技術によるセグメント化には適していません。
我々は、そのようなテキストをセグメント化するための新しい深層学習ベースのモデルを提示し、それが我々のタスクにおいて既存の最先端の方法よりも大幅に優れていることを示します。

要約(オリジナル)

Text segmentation, the task of dividing a document into sections, is often a prerequisite for performing additional natural language processing tasks. Existing text segmentation methods have typically been developed and tested using clean, narrative-style text with segments containing distinct topics. Here we consider a challenging text segmentation task: dividing newspaper marriage announcement lists into units of one announcement each. In many cases the information is not structured into sentences, and adjacent segments are not topically distinct from each other. In addition, the text of the announcements, which is derived from images of historical newspapers via optical character recognition, contains many typographical errors. As a result, these announcements are not amenable to segmentation with existing techniques. We present a novel deep learning-based model for segmenting such text and show that it significantly outperforms an existing state-of-the-art method on our task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google