Multi-modal Machine Learning for Vehicle Rating Predictions Using Image, Text, and Parametric Data

要約

正確な車両評価予測により、優れた車両の設計と構成が容易になります。
この予測により、自動車の設計者や製造業者は、タイムリーに設計を最適化および改善し、製品の性能を向上させ、消費者を効果的に引き付けることができます。
ただし、既存のデータ駆動型手法のほとんどは、テキスト、画像、パラメトリック データなどの単一モードのデータに依存しているため、利用可能な情報の探索が限定的かつ不完全になります。
これらの方法には、複数のモードからのデータの包括的な分析と調査が欠けており、おそらく不正確な結論につながり、この分野の進歩を妨げます。
この制限を克服するために、より包括的かつ正確な車両評価予測のためのマルチモーダル学習モデルを提案します。
具体的には、モデルは車両のパラメトリック仕様、テキスト説明、画像から特徴を同時に学習し、合計スコア、批評家スコア、性能スコア、安全性スコア、内装スコアを含む 5 つの車両評価スコアを予測します。
マルチモーダル学習モデルを対応する単峰モデルと比較したところ、多峰モデルの説明力は単峰モデルよりも 4% ～ 12% 高いことがわかりました。
これに基づいて、SHAP を使用して感度分析を実行してモデルを解釈し、設計者と製造者に設計と最適化の指示を提供します。
私たちの研究は、車両の設計、評価、最適化におけるデータ駆動型のマルチモーダル学習アプローチの重要性を強調しています。
コードは http://decode.mit.edu/projects/vehiclerateds/ で公開されています。

要約(オリジナル)

Accurate vehicle rating prediction can facilitate designing and configuring good vehicles. This prediction allows vehicle designers and manufacturers to optimize and improve their designs in a timely manner, enhance their product performance, and effectively attract consumers. However, most of the existing data-driven methods rely on data from a single mode, e.g., text, image, or parametric data, which results in a limited and incomplete exploration of the available information. These methods lack comprehensive analyses and exploration of data from multiple modes, which probably leads to inaccurate conclusions and hinders progress in this field. To overcome this limitation, we propose a multi-modal learning model for more comprehensive and accurate vehicle rating predictions. Specifically, the model simultaneously learns features from the parametric specifications, text descriptions, and images of vehicles to predict five vehicle rating scores, including the total score, critics score, performance score, safety score, and interior score. We compare the multi-modal learning model to the corresponding unimodal models and find that the multi-modal model’s explanatory power is 4% – 12% higher than that of the unimodal models. On this basis, we conduct sensitivity analyses using SHAP to interpret our model and provide design and optimization directions to designers and manufacturers. Our study underscores the importance of the data-driven multi-modal learning approach for vehicle design, evaluation, and optimization. We have made the code publicly available at http://decode.mit.edu/projects/vehicleratings/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google