Learning from Negative Samples in Generative Biomedical Entity Linking

要約

生成モデルは、その優れたパフォーマンスと効率的なメモリ使用により、生物医学エンティティ リンク (BioEL) で広く使用されるようになりました。
ただし、これらのモデルは通常、ポジティブ サンプル (入力された言及の識別子と一致するエンティティ) でのみトレーニングされ、ハード ネガティブ サンプル (見た目は似ているが意味が異なるエンティティ) から明示的に学習することはありません。
この制限に対処するために、ネガティブ サンプルを使用して生成 BioEL モデルをトレーニングする最初のフレームワークである ANGEL (Learning from Negative Samples in Generative Biomedical Entity Linking) を導入します。
具体的には、生成モデルは最初に、特定の入力エンティティの知識ベースから正のサンプルを生成するようにトレーニングされます。
その後、正しい出力と不正確な出力の両方がモデルの上位 k 予測から収集されます。
その後、直接優先最適化を通じて正しい予測に優先順位を付けるようにモデルが更新されます。
ANGEL で微調整された当社のモデルは、5 つのベンチマークで平均トップ 1 精度 1.4% まで、以前の最高のベースライン モデルを上回っています。
私たちのフレームワークを事前トレーニングに組み込むと、パフォーマンスの向上はさらに 1.7% に増加し、事前トレーニングと微調整の両方の段階でその有効性が実証されました。
私たちのコードは https://github.com/dmis-lab/ANGEL で入手できます。

要約(オリジナル)

Generative models have become widely used in biomedical entity linking (BioEL) due to their excellent performance and efficient memory usage. However, these models are usually trained only with positive samples–entities that match the input mention’s identifier–and do not explicitly learn from hard negative samples, which are entities that look similar but have different meanings. To address this limitation, we introduce ANGEL (Learning from Negative Samples in Generative Biomedical Entity Linking), the first framework that trains generative BioEL models using negative samples. Specifically, a generative model is initially trained to generate positive samples from the knowledge base for given input entities. Subsequently, both correct and incorrect outputs are gathered from the model’s top-k predictions. The model is then updated to prioritize the correct predictions through direct preference optimization. Our models fine-tuned with ANGEL outperform the previous best baseline models by up to an average top-1 accuracy of 1.4% on five benchmarks. When incorporating our framework into pre-training, the performance improvement further increases to 1.7%, demonstrating its effectiveness in both the pre-training and fine-tuning stages. Our code is available at https://github.com/dmis-lab/ANGEL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google