On the class of coding optimality of human languages and the origins of Zipf’s law

要約

ここでは、符号化システムの最適性に関する新しいクラスを提示する。そのクラスのメンバーは、最適符号化から直線的にずれるので、Zipfの法則、すなわち頻度ランクのべき乗分布を示す。このクラスの中では、Zipfの法則、サイズランクの法則、サイズ確率の法則がグループ的な構造を形成する。我々は、このクラスのメンバーである人間の言語を特定する。Zipfの法則と十分な一致を示すすべての言語は、クラスの潜在的なメンバーである。一方、他の生物種には、指数分布を示すためにこのクラスのメンバーにはなり得ないコミュニケーションシステムが存在するが、イルカやザトウクジラはその可能性がある。私たちは、頻度対ランクのプロットを両対数スケールで示すことで、新たな知見を提供する。どのようなシステムにおいても、そのスケールにおける直線は、非特異符号化と一意に復号可能な符号化における最適符号の長さが、Zipfの法則の指数を傾きとする一次関数によって変位することを示している。圧縮され、一意に復号可能であることが制約されたシステムの場合、このような直線はシステムが最適に近い符号化をしていることを示すかもしれない。我々は、Zipfの法則が圧縮に由来するという仮説を支持し、圧縮システムにおいてZipfの法則が出現するための検証可能な条件を定義する。

要約(オリジナル)

Here we present a new class of optimality for coding systems. Members of that class are displaced linearly from optimal coding and thus exhibit Zipf’s law, namely a power-law distribution of frequency ranks. Within that class, Zipf’s law, the size-rank law and the size-probability law form a group-like structure. We identify human languages that are members of the class. All languages showing sufficient agreement with Zipf’s law are potential members of the class. In contrast, there are communication systems in other species that cannot be members of that class for exhibiting an exponential distribution instead but dolphins and humpback whales might. We provide a new insight into plots of frequency versus rank in double logarithmic scale. For any system, a straight line in that scale indicates that the lengths of optimal codes under non-singular coding and under uniquely decodable encoding are displaced by a linear function whose slope is the exponent of Zipf’s law. For systems under compression and constrained to be uniquely decodable, such a straight line may indicate that the system is coding close to optimality. We provide support for the hypothesis that Zipf’s law originates from compression and define testable conditions for the emergence of Zipf’s law in compressing systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL