A Pattern Language for Machine Learning Tasks

要約

万能近似器として理想化されたニューラル ネットワークなどの学習器は、トレーニング後にさまざまな具体的な関数の 1 つになる可能性がある「変数関数」とみなすことができます。
方程式が代数における変数の取り得る値を制約するのと同じように、目的関数を学習者の行動に対する制約とみなすことができます。
完全に最適化された目的関数が課す等価性を抽出し、それらを「タスク」と呼びます。
これらのタスクのために、私たちは次のことを可能にする正式なグラフィック言語を開発します。(1) 動作の中核タスクをその実装の詳細から分離する。
(2) モデルに依存せずに動作を推論し、設計する。
(3) 複数のドメインにわたる機械学習のアプローチを簡単に説明し、統一する。
概念実証として、分類子を「マニピュレーター」と呼ぶ生成モデルに変換できる新しいタスクを設計します。これは、タスク仕様をコードに直接変換することによって実装されます。
結果として得られるモデルは、カスタム アーキテクチャ、敵対的トレーニング、ランダム サンプリングを必要とせずに、スタイル転送や解釈可能な潜在空間編集などの機能を示します。
私たちはマニピュレーターの動作を GAN に正式に関連付け、VAE との競合パフォーマンスを経験的に実証します。
我々は、マニピュレーターを識別分類子の近似ベイズ逆変換として特徴付けることを目的とした、視覚領域と言語領域にわたる実験について報告します。

要約(オリジナル)

Idealised as universal approximators, learners such as neural networks can be viewed as ‘variable functions’ that may become one of a range of concrete functions after training. In the same way that equations constrain the possible values of variables in algebra, we may view objective functions as constraints on the behaviour of learners. We extract the equivalences perfectly optimised objective functions impose, calling them ‘tasks’. For these tasks, we develop a formal graphical language that allows us to: (1) separate the core tasks of a behaviour from its implementation details; (2) reason about and design behaviours model-agnostically; and (3) simply describe and unify approaches in machine learning across domains. As proof-of-concept, we design a novel task that enables converting classifiers into generative models we call ‘manipulators’, which we implement by directly translating task specifications into code. The resulting models exhibit capabilities such as style transfer and interpretable latent-space editing, without the need for custom architectures, adversarial training or random sampling. We formally relate the behaviour of manipulators to GANs, and empirically demonstrate their competitive performance with VAEs. We report on experiments across vision and language domains aiming to characterise manipulators as approximate Bayesian inversions of discriminative classifiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google