Open Problems in Applied Deep Learning

要約

この作業は、機械学習メカニズムをバイレベル最適化問題として定式化します。
内部レベルの最適化ループでは、トレーニング データで評価された適切に選択された損失関数を最小化する必要があります。
これは、最適なモデル パラメーターを追求するための十分に研究されたトレーニング プロセスに他なりません。
外部レベルの最適化ループはあまり研究されておらず、検証データで評価された適切に選択されたパフォーマンス メトリックを最大化することを伴います。
これは、最適なモデルのハイパーパラメーターを追求する「反復プロセス」と呼ばれるものです。
他の多くの自由度の中で、このプロセスには、モデル エンジニアリング (ニューラル ネットワーク アーキテクチャの設計など) と管理、実験の追跡、データセットのバージョン管理、拡張が伴います。
反復プロセスは、自動機械学習 (AutoML) によって自動化するか、機械学習の学生、エンジニア、研究者の直感に任せることができます。
私たちが取るルートに関係なく、反復ステップの計算コストを削減し、直接的な結果として、人工知能アルゴリズムの開発による二酸化炭素排出量を削減する必要があります。
バイレベル最適化問題としての反復ステップの明確で統一された数学的定式化にもかかわらず、その解決策はケース固有で複雑です。
この作業では、教師あり学習から半教師あり、自己教師あり、教師なし、少数ショット、連合、強化、および物理学に基づく学習へと複雑さのレベルを上げながら、そのようなケースを検討します。
この演習の結果として、この提案は、この分野で多くの未解決の問題を表面化させており、その多くは並行して対処することができます。

要約(オリジナル)

This work formulates the machine learning mechanism as a bi-level optimization problem. The inner level optimization loop entails minimizing a properly chosen loss function evaluated on the training data. This is nothing but the well-studied training process in pursuit of optimal model parameters. The outer level optimization loop is less well-studied and involves maximizing a properly chosen performance metric evaluated on the validation data. This is what we call the ‘iteration process’, pursuing optimal model hyper-parameters. Among many other degrees of freedom, this process entails model engineering (e.g., neural network architecture design) and management, experiment tracking, dataset versioning and augmentation. The iteration process could be automated via Automatic Machine Learning (AutoML) or left to the intuitions of machine learning students, engineers, and researchers. Regardless of the route we take, there is a need to reduce the computational cost of the iteration step and as a direct consequence reduce the carbon footprint of developing artificial intelligence algorithms. Despite the clean and unified mathematical formulation of the iteration step as a bi-level optimization problem, its solutions are case specific and complex. This work will consider such cases while increasing the level of complexity from supervised learning to semi-supervised, self-supervised, unsupervised, few-shot, federated, reinforcement, and physics-informed learning. As a consequence of this exercise, this proposal surfaces a plethora of open problems in the field, many of which can be addressed in parallel.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google