Emergence of Symbols in Neural Networks for Semantic Understanding and Communication

要約

タイトル：ニューラルネットワークにおけるシンボルの出現：意味理解とコミュニケーションへの影響
要約：

– 人間の知能において、コミュニケーションや推論、計画などの複雑な認知機能を実現するための意味のあるシンボル創造と適切な使用能力は不可欠であり、独自性がある。
– 現在の深層ニューラルネットワークは、このような高次のシンボル創造能力において、人間の能力からは遠く及ばない。
– 本稿では、SEA-netという解決策を提案して、ニューラルネットワークにシンボル創造、意味理解とコミュニケーションを付与する方法を提供する。
– SEA-netは、タスクを遂行するためにネットワークをダイナミックに構成するシンボルを生成することができ、これらのシンボルは、組成的な意味情報を捉えることができる。
– さらに、これらの自己生成されたシンボルには、自然言語と似た内在的構造があることがわかり、人間の脳と人工ニューラルネットワークのシンボルの生成と理解には共通するフレームワークがあることが示唆される。
– 今後、この手法がAIの連結主義的アプローチとシンボル的アプローチの強みをシナジー効果的に発揮するような、より能力の高いシステムの開発に寄与できることを期待する。

要約(オリジナル)

Being able to create meaningful symbols and proficiently use them for higher cognitive functions such as communication, reasoning, planning, etc., is essential and unique for human intelligence. Current deep neural networks are still far behind human’s ability to create symbols for such higher cognitive functions. Here we propose a solution, named SEA-net, to endow neural networks with ability of symbol creation, semantic understanding and communication. SEA-net generates symbols that dynamically configure the network to perform specific tasks. These symbols capture compositional semantic information that enables the system to acquire new functions purely by symbolic manipulation or communication. In addition, we found that these self-generated symbols exhibit an intrinsic structure resembling that of natural language, suggesting a common framework underlying the generation and understanding of symbols in both human brains and artificial neural networks. We hope that it will be instrumental in producing more capable systems in the future that can synergize the strengths of connectionist and symbolic approaches for AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI