Data Selection: A Surprisingly Effective and General Principle for Building Small Interpretable Models

要約

私たちは、正確な小型モデルを構築するための効果的かつ一般的な戦略について、説得力のある経験的証拠を提示します。
このようなモデルは解釈しやすさの点で魅力的であり、リソースに制約のある環境でも使用できます。
この戦略は、テスト分布のデータを使用するのではなく、トレーニング分布を学習することです。
分布学習アルゴリズムはこの研究の貢献ではありません。
私たちは、このシンプルな戦略がさまざまなタスクに対して幅広く有用であることを強調しており、そのため、これらの厳密な経験的結果が私たちの貢献となります。
これを、(1) クラスター説明ツリーの構築、(2) プロトタイプベースの分類、および (3) ランダム フォレストを使用した分類のタスクに適用し、従来の弱いベースラインの精度が驚くほど向上することを示します。
専門化された現代技術で競争力を発揮します。
この戦略は、モデル サイズの概念に関しても多用途です。
最初の 2 つのタスクでは、モデルのサイズはそれぞれツリー内のリーフの数とプロトタイプの数によって特定されます。
ランダム フォレストを含む最後のタスクでは、モデル サイズが複数の要因 (ツリーの数と最大深さ) によって決定される場合でも、この戦略が効果的であることが示されています。
統計的に有意であることが示される、複数のデータセットを使用した肯定的な結果が表示されます。
これらのことから、この戦略は効果的である、つまり大幅な改善につながり、一般的である、つまりさまざまなタスクやモデル ファミリに適用できるため、小型で正確なモデルを必要とする領域ではさらに注目する価値がある、という結論に至りました。

要約(オリジナル)

We present convincing empirical evidence for an effective and general strategy for building accurate small models. Such models are attractive for interpretability and also find use in resource-constrained environments. The strategy is to learn the training distribution instead of using data from the test distribution. The distribution learning algorithm is not a contribution of this work; we highlight the broad usefulness of this simple strategy on a diverse set of tasks, and as such these rigorous empirical results are our contribution. We apply it to the tasks of (1) building cluster explanation trees, (2) prototype-based classification, and (3) classification using Random Forests, and show that it improves the accuracy of weak traditional baselines to the point that they are surprisingly competitive with specialized modern techniques. This strategy is also versatile wrt the notion of model size. In the first two tasks, model size is identified by number of leaves in the tree and the number of prototypes respectively. In the final task involving Random Forests the strategy is shown to be effective even when model size is determined by more than one factor: number of trees and their maximum depth. Positive results using multiple datasets are presented that are shown to be statistically significant. These lead us to conclude that this strategy is both effective, i.e, leads to significant improvements, and general, i.e., is applicable to different tasks and model families, and therefore merits further attention in domains that require small accurate models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google