On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake

要約

現実的な合成データを生成する深部神経ネットワークの驚くべき能力に照らして、古典的な信号から記号への障壁を再検討します。
DeepFakesとなりすましは、デジタルコンピュータによって学習されたものであれ、生物剤によって学習されたものであれ、物理的現実とその抽象的な表現との間のリンクの弱さを浮き彫りにします。
広く適用可能な抽象概念の定義から始めて、標準のフィードフォワードアーキテクチャは、非常に効果的な分類器であるにもかかわらず、重みの数やトレーニングデータの量に関係なく、些細な概念しかキャプチャできないことを示します。
一方、再帰を組み込んだアーキテクチャは、非常に大きなクラスの概念を表すことができますが、それでも有限のデータセットからそれらを学習できない場合があります。
情報の複雑さを測定するために（自由エネルギー）ラグランジアンを使用して、確率的勾配降下法の変形で訓練された現代建築によって「理解」できる概念のクラスを定性的に説明します。
ただし、概念が理解されたとしても、ネットワークには、継続的な相互作用と検証を介する場合を除いて、その理解を外部エージェントに伝達する手段がありません。
次に、物理オブジェクトを抽象的な概念として特徴付け、前の分析を使用して、物理オブジェクトを有限のアーキテクチャでエンコードできることを示します。
ただし、物理的な概念を理解するには、センサーが持続的に刺激的な観察を提供する必要があります。そのためには、データ取得プロセスを制御する機能が不可欠です（アクティブな知覚）。
制御の重要性はモダリティに依存し、音響的または化学的知覚よりも視覚に利益をもたらします。
最後に、物理エンティティをデジタルIDにバインドすることは、有限のリソースを使用して有限の時間で可能であると結論付け、原則として信号からシンボルへのバリアの問題を解決しますが、継続的な検証の必要性を強調します。

要約(オリジナル)

We revisit the classic signal-to-symbol barrier in light of the remarkable ability of deep neural networks to generate realistic synthetic data. DeepFakes and spoofing highlight the feebleness of the link between physical reality and its abstract representation, whether learned by a digital computer or a biological agent. Starting from a widely applicable definition of abstract concept, we show that standard feed-forward architectures cannot capture but trivial concepts, regardless of the number of weights and the amount of training data, despite being extremely effective classifiers. On the other hand, architectures that incorporate recursion can represent a significantly larger class of concepts, but may still be unable to learn them from a finite dataset. We qualitatively describe the class of concepts that can be ‘understood’ by modern architectures trained with variants of stochastic gradient descent, using a (free energy) Lagrangian to measure information complexity. Even if a concept has been understood, however, a network has no means of communicating its understanding to an external agent, except through continuous interaction and validation. We then characterize physical objects as abstract concepts and use the previous analysis to show that physical objects can be encoded by finite architectures. However, to understand physical concepts, sensors must provide persistently exciting observations, for which the ability to control the data acquisition process is essential (active perception). The importance of control depends on the modality, benefiting visual more than acoustic or chemical perception. Finally, we conclude that binding physical entities to digital identities is possible in finite time with finite resources, solving in principle the signal-to-symbol barrier problem, but we highlight the need for continuous validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google