Meta-Statistical Learning: Supervised Learning of Statistical Inference

要約

この作業は、大規模な言語モデル（LLM）の成功を促進するツールと原則を再利用して、個々のデータポイントのラベルではなくデータ生成分布のプロパティを予測することである分布レベルのタスクに取り組むために再利用できることを示しています。
これらのタスクには、パラメーターの推定、仮説テスト、相互情報の推定などの統計的推論の問題が含まれます。
監督は通常、個々のデータポイントに結び付けられるため、従来の機械学習パイプライン内でこれらのタスクをフレーミングすることは困難です。
統計的推論タスクを監視された学習問題として再定式化するマルチインスタンス学習に触発されたフレームワークであるメタ統計学習を提案します。
このアプローチでは、データセット全体が、分布レベルのパラメーターを予測するニューラルネットワークへの単一の入力として扱われます。
位置エンコーディングのない変圧器ベースのアーキテクチャは、順列不変性の特性により、自然に適合します。
大規模な合成データセットをトレーニングすることにより、メタ統計モデルは、変圧器ベースのLLMのスケーラビリティと最適化インフラストラクチャを活用できます。
仮説テストと相互情報の推定におけるアプリケーションでのフレームワークの汎用性を実証します。特に、従来のニューラル方法が苦労している小さなデータセットでは、強力なパフォーマンスを示しています。

要約(オリジナル)

This work demonstrates that the tools and principles driving the success of large language models (LLMs) can be repurposed to tackle distribution-level tasks, where the goal is to predict properties of the data-generating distribution rather than labels for individual datapoints. These tasks encompass statistical inference problems such as parameter estimation, hypothesis testing, or mutual information estimation. Framing these tasks within traditional machine learning pipelines is challenging, as supervision is typically tied to individual datapoint. We propose meta-statistical learning, a framework inspired by multi-instance learning that reformulates statistical inference tasks as supervised learning problems. In this approach, entire datasets are treated as single inputs to neural networks, which predict distribution-level parameters. Transformer-based architectures, without positional encoding, provide a natural fit due to their permutation-invariance properties. By training on large-scale synthetic datasets, meta-statistical models can leverage the scalability and optimization infrastructure of Transformer-based LLMs. We demonstrate the framework’s versatility with applications in hypothesis testing and mutual information estimation, showing strong performance, particularly for small datasets where traditional neural methods struggle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google