Causality can systematically address the monsters under the bench(marks)

要約

実証的な機械学習を進めるためには、効果的で信頼できる評価が不可欠です。
しかし、ジェネラリストモデルのアクセシビリティの向上と、ますます複雑で高レベルのタスクに向けた進歩により、体系的な評価がより困難になります。
ベンチマークは、さまざまなバイアス、アーティファクト、または漏れに悩まされていますが、モデルは故障モードが十分に調査されていないため、間違いなく動作する可能性があります。
そのような「モンスター」の無計画な治療と一貫性のない定式化は、努力の重複、結果への信頼の欠如、およびサポートされていない推論に貢献する可能性があります。
このポジションペーパーでは、因果関係がこれらの課題に体系的に対処するための理想的なフレームワークを提供すると主張しています。
明示的なアプローチで因果的な仮定を行うことにより、現象を忠実にモデル化し、説明力を備えたテスト可能な仮説を定式化し、分析のために原則ツールを活用できます。
因果モデルの設計をよりアクセスしやすくするために、大規模な言語モデルの推論能力への洞察を得るのに役立つ因果グラフのいくつかの有用な一般的な抽象トポロジ（CAT）を特定します。
一連のケーススタディを通じて、因果関係の正確でありながら実用的な言語がどのように方法の強みと制限を明確にし、体系的な進歩のための新しいアプローチを刺激するかを示します。

要約(オリジナル)

Effective and reliable evaluation is essential for advancing empirical machine learning. However, the increasing accessibility of generalist models and the progress towards ever more complex, high-level tasks make systematic evaluation more challenging. Benchmarks are plagued by various biases, artifacts, or leakage, while models may behave unreliably due to poorly explored failure modes. Haphazard treatments and inconsistent formulations of such ‘monsters’ can contribute to a duplication of efforts, a lack of trust in results, and unsupported inferences. In this position paper, we argue causality offers an ideal framework to systematically address these challenges. By making causal assumptions in an approach explicit, we can faithfully model phenomena, formulate testable hypotheses with explanatory power, and leverage principled tools for analysis. To make causal model design more accessible, we identify several useful Common Abstract Topologies (CATs) in causal graphs which help gain insight into the reasoning abilities in large language models. Through a series of case studies, we demonstrate how the precise yet pragmatic language of causality clarifies the strengths and limitations of a method and inspires new approaches for systematic progress.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google