MuG: A Multimodal Classification Benchmark on Game Data with Tabular, Textual, and Visual Fields

要約

これまでの研究では、従来の単峰性データよりも複数のソースからのデータを統合することの利点が実証されており、これが多数の新規な複合アプリケーションの出現につながりました。
私たちは、研究者がモデルを評価および改善できるようにする 8 つのデータセットを備えたマルチモーダル分類ベンチマーク MuG を提案します。
これらのデータセットは、表形式、テキスト形式、およびビジュアル形式をカバーする 4 つのさまざまなジャンルのゲームから収集されています。
当社は、ラベルバランス比率、欠落している特徴の割合、各モダリティ内のデータの分布、ラベルと入力モダリティ間の相関関係など、ベンチマークに関する洞察を提供するために多面的なデータ分析を実施します。
さらに、いくつかの最先端の単峰性分類器と多峰性分類器によって得られた実験結果を示し、ベンチマークの困難で多峰性に依存する特性を示します。
MuG は、データ、チュートリアル、実装されたベースラインとともに https://github.com/lujiaying/MUG-Bench でリリースされます。

要約(オリジナル)

Previous research has demonstrated the advantages of integrating data from multiple sources over traditional unimodal data, leading to the emergence of numerous novel multimodal applications. We propose a multimodal classification benchmark MuG with eight datasets that allows researchers to evaluate and improve their models. These datasets are collected from four various genres of games that cover tabular, textual, and visual modalities. We conduct multi-aspect data analysis to provide insights into the benchmark, including label balance ratios, percentages of missing features, distributions of data within each modality, and the correlations between labels and input modalities. We further present experimental results obtained by several state-of-the-art unimodal classifiers and multimodal classifiers, which demonstrate the challenging and multimodal-dependent properties of the benchmark. MuG is released at https://github.com/lujiaying/MUG-Bench with the data, tutorials, and implemented baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google