BoschAI @ PLABA 2023: Leveraging Edit Operations in End-to-End Neural Sentence Simplification

要約

自動的な単純化は、一般人が複雑な科学的文章を理解するのに役立つ。言語モデルは、複雑な言語から単純な言語への翻訳によって、このタスクに頻繁に適用される。本論文では、PLABA共有タスクでバイオメディカルテキストの簡略化を扱ったタスクで1位となったLlama 2に基づく我々のシステムについて述べる。我々は、入力と出力の間で共有されるトークンが多いため、学習信号が弱く、モデルが保守的に編集されることを発見した。これらの問題を軽減するために、文レベルとトークンレベルの損失重みを提案する。これらはそれぞれ、編集距離と編集操作によって示される修正されたトークンに高い重みを与える。PLABAデータセットを用いて実証的な評価を行い、標準的なクロスエントロピーで微調整した同じモデルと比較して、どちらのアプローチも人間の注釈者が作成したものに近い簡略化（+1.8% / +3.5% SARI）、より単純な言語（-1 / -1.1 FKGL）、より多くの編集（1.6倍 / 1.8倍 編集距離）をもたらすことを発見する。さらに、トークン-レベル損失重みのハイパーパラメータ$lambda$を用いて、編集距離と単純度（FKGL）を制御できることを示す。

要約(オリジナル)

Automatic simplification can help laypeople to comprehend complex scientific text. Language models are frequently applied to this task by translating from complex to simple language. In this paper, we describe our system based on Llama 2, which ranked first in the PLABA shared task addressing the simplification of biomedical text. We find that the large portion of shared tokens between input and output leads to weak training signals and conservatively editing models. To mitigate these issues, we propose sentence-level and token-level loss weights. They give higher weight to modified tokens, indicated by edit distance and edit operations, respectively. We conduct an empirical evaluation on the PLABA dataset and find that both approaches lead to simplifications closer to those created by human annotators (+1.8% / +3.5% SARI), simpler language (-1 / -1.1 FKGL) and more edits (1.6x / 1.8x edit distance) compared to the same model fine-tuned with standard cross entropy. We furthermore show that the hyperparameter $\lambda$ in token-level loss weights can be used to control the edit distance and the simplicity level (FKGL).

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL