Benchmarking Foundation Models on Exceptional Cases: Dataset Creation and Validation

要約

基礎モデル (FM) はさまざまなタスクにわたって大きな成功を収めており、推論能力のベンチマークの研究につながりました。
ただし、配布外 (OOD) 推論タスクとして定義される例外的なシナリオにおける FM のパフォーマンスに関する研究は不足しています。
この論文はこれらの事例に初めて取り組み、グラフィックノベル、書道、ニュース記事、歌詞などの複数のモダリティにわたる FM を評価するための新しいデータセットを開発しました。
これには、分類、文字認識、トークン予測、テキスト生成などのタスクが含まれます。
この論文では、パフォーマンスを向上させるための思考連鎖 (CoT) や CoT+Few-Shot などの迅速なエンジニアリング手法も提案しています。
さまざまな方法を使用した FM の検証により、改善が明らかになりました。
コード リポジトリには、https://github.com/MLAI-Yonsei/ExceptionalBenchmark からアクセスできます。

要約(オリジナル)

Foundation models (FMs) have achieved significant success across various tasks, leading to research on benchmarks for reasoning abilities. However, there is a lack of studies on FMs performance in exceptional scenarios, which we define as out-of-distribution (OOD) reasoning tasks. This paper is the first to address these cases, developing a novel dataset for evaluation of FMs across multiple modalities, including graphic novels, calligraphy, news articles, and lyrics. It includes tasks for instance classification, character recognition, token prediction, and text generation. The paper also proposes prompt engineering techniques like Chain-of-Thought (CoT) and CoT+Few-Shot to enhance performance. Validation of FMs using various methods revealed improvements. The code repository is accessible at: https://github.com/MLAI-Yonsei/ExceptionalBenchmark

arxiv情報

提供元, 利用サービス

arxiv.jp, Google