TeXBLEU: Automatic Metric for Evaluate LaTeX Format

要約

LaTeX は、特に科学、技術、数学、コンピューター サイエンスの分野で、特殊な形式のドキュメントを作成するのに非常に適しています。
言語モデルでは LaTeX 形式の数式の使用が増えているにもかかわらず、それらを評価するための評価指標がありません。
本研究では、翻訳業務で広く使われているn-gramベースのBLEU指標をベースに、LaTeX形式の数式に合わせた評価指標TeXBLEUを提案します。
提案された TeXBLEU には、arXiv 紙データセットでトレーニングされた事前定義されたトークナイザーと微調整された埋め込みモデルが含まれています。
また、トークンの位置的な埋め込みも考慮されます。
同時に、TeXBLEU は、元の BLEU と同様に、n グラムに基づいてトークンを比較し、対数和のべき乗を使用してスコアを計算します。
実験結果は、1,000 個のデータ ポイントを含む MathBridge データセットのテスト データセットに対する人間の評価データと比較した場合、TeXBLEU が BLEU、Rouge、CER、WER などの従来の評価指標を上回ったことを示しています。
人の評価との平均相関係数は0.71で、既存の指標の中で最も人の評価データとの相関が高かったBLEUと比較して87％向上しました。
コードは https://github.com/KyuDan1/TeXBLEU で入手できます。

要約(オリジナル)

LaTeX is highly suited to creating documents with special formatting, particularly in the fields of science, technology, mathematics, and computer science. Despite the increasing use of mathematical expressions in LaTeX format with language models, there are no evaluation metrics for evaluating them. In this study, we propose TeXBLEU, an evaluation metric tailored for mathematical expressions in LaTeX format, based on the n-gram-based BLEU metric that is widely used for translation tasks. The proposed TeXBLEU includes a predefined tokenizer trained on the arXiv paper dataset and a finetuned embedding model. It also considers the positional embedding of tokens. Simultaneously, TeXBLEU compares tokens based on n-grams and computes the score using exponentiation of a logarithmic sum, similar to the original BLEU. Experimental results show that TeXBLEU outperformed traditional evaluation metrics such as BLEU, Rouge, CER, and WER when compared to human evaluation data on the test dataset of the MathBridge dataset, which contains 1,000 data points. The average correlation coefficient with human evaluation was 0.71, which is an improvement of 87% compared with BLEU, which had the highest correlation with human evaluation data among the existing metrics. The code is available at https://github.com/KyuDan1/TeXBLEU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google