Domain-specific or Uncertainty-aware models: Does it really make a difference for biomedical text classification?

要約

一連のユースケースにおける事前トレーニング済み言語モデル (PLM) の成功により、NLP コミュニティはドメイン固有の基礎モデルの構築に向けて多大な投資を行ってきました。
一方、生物医学応用などのミッションクリティカルな設定では、モデル自体の不確実性の合理的な推定値を生成するモデルの能力という他の側面も主な要素となります。
本研究では、モデルの出力確率分布のエントロピーをどのように形成するかという観点から、これら 2 つの要望について議論します。
ドメインの特異性と不確実性の認識は多くの場合うまく組み合わせることができますが、当面の正確なタスクの方がはるかに重要であることがわかりました。

要約(オリジナル)

The success of pretrained language models (PLMs) across a spate of use-cases has led to significant investment from the NLP community towards building domain-specific foundational models. On the other hand, in mission critical settings such as biomedical applications, other aspects also factor in-chief of which is a model’s ability to produce reasonable estimates of its own uncertainty. In the present study, we discuss these two desiderata through the lens of how they shape the entropy of a model’s output probability distribution. We find that domain specificity and uncertainty awareness can often be successfully combined, but the exact task at hand weighs in much more strongly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google