Fine-Tuning Language Models for Scientific Writing Support

要約

私たちは、科学ライターが書かれた文章が科学的であるかどうか、どのセクションに属するかを判断することをサポートし、文章を改善するための言い換えを提案します。
まず、査読済みの科学論文と非科学テキストから抽出された科学文のコーパスでトレーニングされた回帰モデルを提案し、文の科学性を示すスコアを割り当てます。
このスコアに対する方程式と引用の影響を調査し、潜在的なバイアスについてモデルをテストします。
次に、AI と機械学習でセクション タイトルと標準的な論文レイアウトのマッピングを作成し、文を最も可能性の高いセクションに分類します。
セクション分類のパフォーマンスに対するコンテキスト、つまり周囲の文の影響を研究します。
最後に、文のスタイルを改善するための単語の置換、文への追加、および構造の変更を含む、特定の文の代替案を提案するパラフレーズを提案します。
私たちは、A*、A、B、C ランクのカンファレンスで査読され出版された arXiv 論文から抽出された文に基づいて、さまざまな大規模な言語モデルをトレーニングします。
科学性タスクでは、すべてのモデルが $2\%$ 未満の MSE を達成します。
セクション分類では、ほとんどの場合、BERT が WideMLP および SciBERT よりも優れています。
コンテキストを使用すると文の分類が強化され、最大 $90\%$ F1 スコアが達成されることを示します。
言い換えモデルは比較的少ない変更を加えますが、ゴールドスタンダードに近い出力文を生成します。
T5 Large などの大規模な微調整モデルは、入力文とゴールドスタンダードとの間の差異のさまざまな尺度を考慮した実験で最高のパフォーマンスを発揮します。
コードは https://github.com/JustinMuecke/SciSen で提供されます。

要約(オリジナル)

We support scientific writers in determining whether a written sentence is scientific, to which section it belongs, and suggest paraphrasings to improve the sentence. Firstly, we propose a regression model trained on a corpus of scientific sentences extracted from peer-reviewed scientific papers and non-scientific text to assign a score that indicates the scientificness of a sentence. We investigate the effect of equations and citations on this score to test the model for potential biases. Secondly, we create a mapping of section titles to a standard paper layout in AI and machine learning to classify a sentence to its most likely section. We study the impact of context, i.e., surrounding sentences, on the section classification performance. Finally, we propose a paraphraser, which suggests an alternative for a given sentence that includes word substitutions, additions to the sentence, and structural changes to improve the writing style. We train various large language models on sentences extracted from arXiv papers that were peer reviewed and published at A*, A, B, and C ranked conferences. On the scientificness task, all models achieve an MSE smaller than $2\%$. For the section classification, BERT outperforms WideMLP and SciBERT in most cases. We demonstrate that using context enhances the classification of a sentence, achieving up to a $90\%$ F1-score. Although the paraphrasing models make comparatively few alterations, they produce output sentences close to the gold standard. Large fine-tuned models such as T5 Large perform best in experiments considering various measures of difference between input sentence and gold standard. Code is provided under https://github.com/JustinMuecke/SciSen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google