OpenMSD: Towards Multilingual Scientific Documents Similarity Measurement

要約

この研究では、多言語科学文書の類似性測定モデルを開発および評価します。
このようなモデルを使用すると、さまざまな言語で関連する論文を見つけることができ、多言語を話す研究者がより効率的に論文を見つけて調査するのに役立ちます。
私たちは、103 言語の 7,400 万件の論文と 7 億 7,800 万件の引用ペアを含む、初の多言語科学文書データセットであるオープンアクセス多言語科学文書 (OpenMSD) を提案します。
OpenMSD を使用して、科学に特化した言語モデルを事前トレーニングし、引用、共引用、書誌結合ペアの組み合わせの使用など、モデルを微調整するために「関連する」論文ペアを導出するさまざまな戦略を検討します。
英語以外の論文に対するモデルのパフォーマンスをさらに向上させるために、英語以外の論文を英語の要約で充実させるための生成言語モデルの使用を検討します。
これにより、モデルの英語機能を活用して、英語以外の論文をより適切に表現できるようになります。
私たちの最良のモデルは、強力なベースラインを 7 ～ 16% (平均平均精度で) 大幅に上回っています。

要約(オリジナル)

We develop and evaluate multilingual scientific documents similarity measurement models in this work. Such models can be used to find related works in different languages, which can help multilingual researchers find and explore papers more efficiently. We propose the first multilingual scientific documents dataset, Open-access Multilingual Scientific Documents (OpenMSD), which has 74M papers in 103 languages and 778M citation pairs. With OpenMSD, we pretrain science-specialized language models, and explore different strategies to derive ‘related’ paper pairs to fine-tune the models, including using a mixture of citation, co-citation, and bibliographic-coupling pairs. To further improve the models’ performance for non-English papers, we explore the use of generative language models to enrich the non-English papers with English summaries. This allows us to leverage the models’ English capabilities to create better representations for non-English papers. Our best model significantly outperforms strong baselines by 7-16% (in mean average precision).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google