Enhancing Biomedical Text Summarization and Question-Answering: On the Utility of Domain-Specific Pre-Training

要約

生物医学の要約には、テキスト生成のトレーニングに大規模なデータセットが必要です。
転移学習はこの課題に対処するための実行可能なオプションを提供しますが、BioASQ 要約タスクではドメイン内事前トレーニングが常に利点を提供するとは限らないことを示します。
私たちは適切なモデル アーキテクチャを特定し、それを使用して一般領域の事前トレーニングとそれに続く BioASQ 要約タスクのコンテキストでのタスク固有の微調整の利点を示し、新しい 3 ステップの微調整アプローチにつながります。
これは、ドメイン内の 1,000 個の例のみで機能します。
私たちの結果は、ドメイン固有の事前トレーニングを行わない大規模言語モデルが、一部のドメイン固有の生物医学テキスト生成タスクにおいて大きな利点を持つ可能性があることを示しています。

要約(オリジナル)

Biomedical summarization requires large datasets to train for text generation. We show that while transfer learning offers a viable option for addressing this challenge, an in-domain pre-training does not always offer advantages in a BioASQ summarization task. We identify a suitable model architecture and use it to show a benefit of a general-domain pre-training followed by a task-specific fine-tuning in the context of a BioASQ summarization task, leading to a novel three-step fine-tuning approach that works with only a thousand in-domain examples. Our results indicate that a Large Language Model without domain-specific pre-training can have a significant edge in some domain-specific biomedical text generation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google