Human-Guided Complexity-Controlled Abstractions

要約

ニューラル ネットワークは、新しい設定やタスクに一般化できない、タスク固有の潜在表現を学習することがよくあります。
逆に、人間はさまざまな抽象化レベル (例: 「鳥」対「スズメ」) で離散表現 (つまり、概念や単語) を学習し、タスクに基づいて適切な抽象化を展開します。
これにヒントを得て、ニューラル モデルをトレーニングして離散表現のスペクトルを生成し、表現全体にわたる分布のエントロピーを調整することで表現の複雑さ (大まかに、入力のエンコードに割り当てられるビット数) を制御します。
新しいタスクに対して少数のラベル付きサンプルのみを使用した微調整実験では、(1) タスクに適した複雑さレベルに表現を調整することで最高の微調整パフォーマンスがサポートされること、(2) 人間参加型の研究では、
ユーザーは、離散表現の視覚化を使用して、下流のタスクに適切な複雑さのレベルを特定できました。
私たちの結果は、人間の洞察を活用することによる迅速なモデル微調整の有望な方向性を示しています。

要約(オリジナル)

Neural networks often learn task-specific latent representations that fail to generalize to novel settings or tasks. Conversely, humans learn discrete representations (i.e., concepts or words) at a variety of abstraction levels (e.g., ‘bird’ vs. ‘sparrow’) and deploy the appropriate abstraction based on task. Inspired by this, we train neural models to generate a spectrum of discrete representations, and control the complexity of the representations (roughly, how many bits are allocated for encoding inputs) by tuning the entropy of the distribution over representations. In finetuning experiments, using only a small number of labeled examples for a new task, we show that (1) tuning the representation to a task-appropriate complexity level supports the highest finetuning performance, and (2) in a human-participant study, users were able to identify the appropriate complexity level for a downstream task using visualizations of discrete representations. Our results indicate a promising direction for rapid model finetuning by leveraging human insight.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google