BoschAI @ PLABA 2023: Leveraging Edit Operations in End-to-End Neural Sentence Simplification

要約

自動単純化は、素人が複雑な科学文書を理解するのに役立ちます。
言語モデルは、複雑な言語から単純な言語に翻訳することによって、このタスクに頻繁に適用されます。
この論文では、生物医学テキストの簡素化に取り組む PLABA 共有タスクで 1 位にランクされた Llama 2 に基づくシステムについて説明します。
入力と出力の間で共有されるトークンの大部分が、トレーニング信号の弱さやモデルの保守的な編集につながることがわかりました。
これらの問題を軽減するために、文レベルおよびトークンレベルの損失重みを提案します。
これらは、編集距離と編集操作によってそれぞれ示される、変更されたトークンにより高い重みを与えます。
PLABA データセットの経験的評価を実施したところ、どちらのアプローチも人間のアノテーターによって作成されたものに近い単純化 (+1.8% / +3.5% SARI)、より単純な言語 (-1 / -1.1 FKGL)、およびより多くの編集 (1.6
x / 1.8x 編集距離）を、標準のクロスエントロピーで微調整した同じモデルと比較しました。
さらに、トークンレベルの損失重みのハイパーパラメータ $\lambda$ を使用して、編集距離と単純さレベル (FKGL) を制御できることを示します。

要約(オリジナル)

Automatic simplification can help laypeople to comprehend complex scientific text. Language models are frequently applied to this task by translating from complex to simple language. In this paper, we describe our system based on Llama 2, which ranked first in the PLABA shared task addressing the simplification of biomedical text. We find that the large portion of shared tokens between input and output leads to weak training signals and conservatively editing models. To mitigate these issues, we propose sentence-level and token-level loss weights. They give higher weight to modified tokens, indicated by edit distance and edit operations, respectively. We conduct an empirical evaluation on the PLABA dataset and find that both approaches lead to simplifications closer to those created by human annotators (+1.8% / +3.5% SARI), simpler language (-1 / -1.1 FKGL) and more edits (1.6x / 1.8x edit distance) compared to the same model fine-tuned with standard cross entropy. We furthermore show that the hyperparameter $\lambda$ in token-level loss weights can be used to control the edit distance and the simplicity level (FKGL).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google