Image Over Text: Transforming Formula Recognition Evaluation with Character Detection Matching

要約

フォーミュラ認識は、複雑な構造と数学的表現のさまざまな表記による重要な課題を提示します。
フォーミュラ認識モデルの継続的な進歩にもかかわらず、BLEUや編集距離などのこれらのモデルで採用されている評価メトリックは、依然として顕著な制限を示しています。
彼らは、同じ式が多様な表現を持ち、トレーニングデータの分布に非常に敏感であり、それによってフォーミュラ認識評価に不公平を引き起こすという事実を見落としています。
この目的のために、キャラクター検出マッチング（CDM）メトリックを提案し、ラテックスレベルのメートルスコアではなく画像レベルを設計することにより、評価の客観性を確保します。
具体的には、CDMはモデル予測ラテックスとグラウンドトゥルースラテックス式の両方を画像形式の式にレンダリングし、空間位置情報を組み込む正確なキャラクターレベルのマッチングのために視覚的な特徴抽出とローカリゼーション技術を採用します。
このような空間的に認識されたキャラクターマッチング方法は、テキストベースの文字マッチングのみに依存する以前のBLEおよび編集距離メトリックと比較して、より正確で公平な評価を提供します。
実験的には、CDM、BLE、およびExprateメトリックを使用して、さまざまな式認識モデルを評価しました。
彼らの結果は、CDMが人間の評価基準とより密接に整合し、多様な式表現によって引き起こされる矛盾を排除することにより、異なるモデル間でより公平な比較を提供することを示しています。
コードはhttps://github.com/opendatalab/unimernet/tree/main/cdmで入手できます。

要約(オリジナル)

Formula recognition presents significant challenges due to the complicated structure and varied notation of mathematical expressions. Despite continuous advancements in formula recognition models, the evaluation metrics employed by these models, such as BLEU and Edit Distance, still exhibit notable limitations. They overlook the fact that the same formula has diverse representations and is highly sensitive to the distribution of training data, thereby causing unfairness in formula recognition evaluation. To this end, we propose a Character Detection Matching (CDM) metric, ensuring the evaluation objectivity by designing an image-level rather than a LaTeX-level metric score. Specifically, CDM renders both the model-predicted LaTeX and the ground-truth LaTeX formulas into image-formatted formulas, then employs visual feature extraction and localization techniques for precise character-level matching, incorporating spatial position information. Such a spatially-aware and character-matching method offers a more accurate and equitable evaluation compared with previous BLEU and Edit Distance metrics that rely solely on text-based character matching. Experimentally, we evaluated various formula recognition models using CDM, BLEU, and ExpRate metrics. Their results demonstrate that the CDM aligns more closely with human evaluation standards and provides a fairer comparison across different models by eliminating discrepancies caused by diverse formula representations. Code is available at https://github.com/opendatalab/UniMERNet/tree/main/cdm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google