An Empirical Study of Validating Synthetic Data for Formula Generation

要約

大規模言語モデル (LLM) を活用すると、スプレッドシートで数式を記述することができますが、これらの数式に関するリソースは不足しているため、事前トレーニングされたモデルの基本パフォーマンスに影響を与え、微調整する機能も制限されます。
数式のコーパスが与えられると、(別の) モデルを使用して、微調整用の合成自然言語発話を生成できます。
ただし、LLM によって生成された NL が微調整に役立つほど正確であるかどうかを検証することが重要です。
このペーパーでは、合成アノテーションの精度を評価する代理目標を使用して、これらの合成トレーニング サンプルを検証することの影響に関する経験的結果を提供します。
検証により、4 つのモデル (2 つのオープンウェイトと 2 つのクローズドウェイト) にわたる生データよりもパフォーマンスが向上することを実証します。
興味深いことに、検証はより困難な例を取り除く傾向があるものの、検証されたデータに基づいて微調整された後にモデルが解決できる問題の複雑さが増加することを示しています。

要約(オリジナル)

Large language models (LLMs) can be leveraged to help with writing formulas in spreadsheets, but resources on these formulas are scarce, impacting both the base performance of pre-trained models and limiting the ability to fine-tune them. Given a corpus of formulas, we can use a(nother) model to generate synthetic natural language utterances for fine-tuning. However, it is important to validate whether the NL generated by the LLM is indeed accurate to be beneficial for fine-tuning. In this paper, we provide empirical results on the impact of validating these synthetic training examples with surrogate objectives that evaluate the accuracy of the synthetic annotations. We demonstrate that validation improves performance over raw data across four models (2 open and 2 closed weight). Interestingly, we show that although validation tends to prune more challenging examples, it increases the complexity of problems that models can solve after being fine-tuned on validated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google