It’s About Time: Temporal References in Emergent Communication

要約

創発的コミュニケーションは、自律的なエージェント間の言語の発達を研究し、自然言語の進化の理解を深め、コミュニケーションの効率を高めることを目的としている。計算言語学では、言語の時間的側面が考慮されてきたが、創発的コミュニケーションにおける時間的参照に関する研究はこれまでなかった。本稿では、エージェントが時間的関係についてどのようにコミュニケーションを行うかを探ることで、このギャップを解決する。我々は、環境、外部、アーキテクチャの変化という3つの潜在的な影響を分析する。我々の実験は、損失関数を変化させるだけでは時間的参照が出現するには不十分であり、むしろアーキテクチャの変化が必要であることを示している。しかし、異なるバッチ法を用いたエージェントアーキテクチャの最小限の変更により、時間的参照の出現が可能になった。この変更された設計を、時間的関係を重視する時間参照ゲーム環境における標準アーキテクチャと比較する。解析の結果、修正したバッチ法を用いたエージェントの95％以上が、損失関数を変更することなく、時間参照を発現することが示された。我々は、エージェントのコミュニケーション効率を将来的に改善するために、時間的参照が必要であると考え、純粋に構成的な言語と比較して、より最適に近いコーディングを実現する。我々の容易に移植可能なアーキテクチャ上の洞察は、他の創発的コミュニケーション設定に組み込むための基礎を提供する。

要約(オリジナル)

Emergent communication studies the development of language between autonomous agents, aiming to improve understanding of natural language evolution and increase communication efficiency. While temporal aspects of language have been considered in computational linguistics, there has been no research on temporal references in emergent communication. This paper addresses this gap, by exploring how agents communicate about temporal relationships. We analyse three potential influences for the emergence of temporal references: environmental, external, and architectural changes. Our experiments demonstrate that altering the loss function is insufficient for temporal references to emerge; rather, architectural changes are necessary. However, a minimal change in agent architecture, using a different batching method, allows the emergence of temporal references. This modified design is compared with the standard architecture in a temporal referential games environment, which emphasises temporal relationships. The analysis indicates that over 95\% of the agents with the modified batching method develop temporal references, without changes to their loss function. We consider temporal referencing necessary for future improvements to the agents’ communication efficiency, yielding a closer to optimal coding as compared to purely compositional languages. Our readily transferable architectural insights provide the basis for their incorporation into other emergent communication settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL