AutoM3L: An Automated Multimodal Machine Learning Framework with Large Language Models

要約

自動機械学習（AutoML）は、機械学習モデルの学習を効率化する有望なアプローチである。しかし、既存のAutoMLフレームワークは、単峰性のシナリオに限定されることが多く、大規模な手動設定を必要とする。最近の大規模言語モデル（Large Language Models: LLM）の進歩は、推論、対話、コード生成におけるその卓越した能力を示しており、より自動化されたユーザーフレンドリーなフレームワークを開発する機会を提示している。この目的のために、我々は、マルチモーダル学習パイプラインを自動的に構築するためのコントローラとしてLLMを活用する革新的な自動マルチモーダル機械学習フレームワークであるAutoM3Lを紹介する。AutoM3Lは、データのモダリティを理解し、ユーザの要求に基づいて適切なモデルを選択し、自動化と対話性を提供します。手作業によるフィーチャーエンジニアリングとハイパーパラメータの最適化の必要性を排除することで、我々のフレームワークはユーザーエンゲージメントを簡素化し、ディレクティブによるカスタマイズを可能にし、これまでのルールベースのAutoMLアプローチの限界に対処する。分類、回帰、検索タスクにまたがる6つの多様なマルチモーダルデータセットと、包括的なユニモーダルデータセットでAutoM3Lの性能を評価した。その結果、AutoM3Lは、従来のルールベースのAutoML手法と比較して、競争力のある、あるいは、優れた性能を達成していることが実証された。さらに、ユーザー調査により、ルールベースのAutoML手法と比較して、我々のフレームワークの使いやすさとユーザビリティが強調されている。

要約(オリジナル)

Automated Machine Learning (AutoML) offers a promising approach to streamline the training of machine learning models. However, existing AutoML frameworks are often limited to unimodal scenarios and require extensive manual configuration. Recent advancements in Large Language Models (LLMs) have showcased their exceptional abilities in reasoning, interaction, and code generation, presenting an opportunity to develop a more automated and user-friendly framework. To this end, we introduce AutoM3L, an innovative Automated Multimodal Machine Learning framework that leverages LLMs as controllers to automatically construct multimodal training pipelines. AutoM3L comprehends data modalities and selects appropriate models based on user requirements, providing automation and interactivity. By eliminating the need for manual feature engineering and hyperparameter optimization, our framework simplifies user engagement and enables customization through directives, addressing the limitations of previous rule-based AutoML approaches. We evaluate the performance of AutoM3L on six diverse multimodal datasets spanning classification, regression, and retrieval tasks, as well as a comprehensive set of unimodal datasets. The results demonstrate that AutoM3L achieves competitive or superior performance compared to traditional rule-based AutoML methods. Furthermore, a user study highlights the user-friendliness and usability of our framework, compared to the rule-based AutoML methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL