Mathematically Modeling the Lexicon Entropy of Emergent Language

要約

深層学習ベースの創発的言語システムにおける語彙エントロピーの数学モデルとして、確率過程 FiLex を定式化します。
モデルを数学的に定義することで、直接的かつ決定的にテストできる明確な予測を生成できます。
FiLex がハイパーパラメーター (トレーニング ステップ、レキシコン サイズ、学習率、ロールアウト バッファー サイズ、および Gumbel-Softmax 温度) と 20 のうち 20 の環境とハイパーパラメーターの組み合わせで出現する言語のエントロピーとの間の正しい相関関係を予測することを、4 つの異なる環境で経験的に検証します。
さらに、私たちの実験は、さまざまな環境がハイパーパラメーターとエントロピーの間に多様な関係を示していることを明らかにしており、正確なレベルの粒度で明確に定義された予測を行うことができるモデルの必要性を示しています。

要約(オリジナル)

We formulate a stochastic process, FiLex, as a mathematical model of lexicon entropy in deep learning-based emergent language systems. Defining a model mathematically allows it to generate clear predictions which can be directly and decisively tested. We empirically verify across four different environments that FiLex predicts the correct correlation between hyperparameters (training steps, lexicon size, learning rate, rollout buffer size, and Gumbel-Softmax temperature) and the emergent language’s entropy in 20 out of 20 environment-hyperparameter combinations. Furthermore, our experiments reveal that different environments show diverse relationships between their hyperparameters and entropy which demonstrates the need for a model which can make well-defined predictions at a precise level of granularity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google