Do Machine Learning Models Learn Common Sense?

要約

機械学習モデルは、膨大な量のデータ内に簡単に隠されている基本的なエラーを作成できます。
このようなエラーは、「常識」と呼ばれる人間の直感に反することがよくあります。
これにより、データ駆動型モデルの常識を特徴付け、モデルが常識を学習した程度を定量化しようとします。
論理ベースの方法と統計的推論を統合して、監視なしでモデルのトレーニング データから常識的なルールを導き出すフレームワークを提案します。
さらに、テスト時にモデルを適応させて、常識的なルール違反を減らし、より一貫した予測を生成する方法を示します。
3 つの異なるドメインのデータセットとモデルでフレームワークを評価します。
これらのデータセットに対して約 250 から 300k のルールを生成し、それぞれのデータセットの最先端のモデルによって、これらのルールの 1.5k から 26k の違反を明らかにします。
テスト時間の適応により、モデル全体の精度に影響を与えることなく、これらの違反を最大 38% 削減できます。

要約(オリジナル)

Machine learning models can make basic errors that are easily hidden within vast amounts of data. Such errors often run counter to human intuition referred to as ‘common sense’. We thereby seek to characterize common sense for data-driven models, and quantify the extent to which a model has learned common sense. We propose a framework that integrates logic-based methods with statistical inference to derive common sense rules from a model’s training data without supervision. We further show how to adapt models at test-time to reduce common sense rule violations and produce more coherent predictions. We evaluate our framework on datasets and models for three different domains. It generates around 250 to 300k rules over these datasets, and uncovers 1.5k to 26k violations of those rules by state-of-the-art models for the respective datasets. Test-time adaptation reduces these violations by up to 38% without impacting overall model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google