Domain-specific long text classification from sparse relevant information

要約

大規模言語モデルは間違いなく自然言語処理分野に革命をもたらしました。現在の傾向は、すべてのタスク (感情分析、翻訳など) に 1 つのモデルを使用することを促進することです。
ただし、大規模な言語モデルで機能する統計メカニズムは、情報が非常にまばらである場合、または信号が弱い場合に、関連する情報を利用するのに苦労します。
これは、たとえば、関連性が単一の関連語または専門用語の非常に少数の関連語に依存する場合、ドメイン固有の長い文書の分類の場合に当てはまります。
医療分野では、特定のレポートに患者の状態に関する重要な情報が含まれているかどうかを判断することが不可欠です。
この重要な情報は、多くの場合、1 つまたは少数の特定の独立した用語に基づいています。
この論文では、潜在的なターゲット用語の短いリストを利用して候補文を取得し、それらをそれらに含まれるターゲット用語の文脈化された埋め込みに表現する階層モデルを提案します。
用語の埋め込みをプールすると、文書表現が分類されることになります。
私たちは、英語の 1 つの公的医療文書ベンチマークと 1 つのフランス語の民間医療データセットに基づいてモデルを評価しました。
ドメイン固有のコンテキストで関連する長いドキュメントを取得するには、より狭い階層モデルがより大きな言語モデルよりも優れていることを示します。

要約(オリジナル)

Large Language Models have undoubtedly revolutionized the Natural Language Processing field, the current trend being to promote one-model-for-all tasks (sentiment analysis, translation, etc.). However, the statistical mechanisms at work in the larger language models struggle to exploit the relevant information when it is very sparse, when it is a weak signal. This is the case, for example, for the classification of long domain-specific documents, when the relevance relies on a single relevant word or on very few relevant words from technical jargon. In the medical domain, it is essential to determine whether a given report contains critical information about a patient’s condition. This critical information is often based on one or few specific isolated terms. In this paper, we propose a hierarchical model which exploits a short list of potential target terms to retrieve candidate sentences and represent them into the contextualized embedding of the target term(s) they contain. A pooling of the term(s) embedding(s) entails the document representation to be classified. We evaluate our model on one public medical document benchmark in English and on one private French medical dataset. We show that our narrower hierarchical model is better than larger language models for retrieving relevant long documents in a domain-specific context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google