自然言語の情報論的限界

自然言語の情報論的限界とは,「どれほど最適化されたモデルを用いても,自然言語の持つ固有の不確実性のためにこれ以上損失を下げることはできない」という理論的境界を意味する.

ここでのポイントは

• $P(x) \in [0,1]$ である
• $\log P(x) \le 0$（$P(x) \le 1$ なので、自然対数でも底2でも負の値）
• したがって $- \log P(x) \ge 0$ となり、各項 $-P(x)\log P(x)$ は非負である
• よってエントロピー $H(P)$ は必ず非負である

というところにある.

自然言語の情報論的限界の概念は,1948年にクロード・シャノンによって確立された情報理論に端を発する.シャノンは言語を情報源としてモデル化し,その統計的性質からエントロピーを定義することで,符号化や圧縮の理論的限界を示した.

後に,ブリル&ムーア[Brill & Moore $\textnormal{(2000)}$]やシャノン自身の後続研究において,英語など自然言語の統計的エントロピーは単語列や文字列の条件付き確率によって近似可能であることが示され,モデルが達成しうる予測精度の上限を示す指標として利用されるようになった.

数値例

例1: 均等分布の言語トークン

\[\mathcal{X} = \{\text{a}, \text{b}, \text{c}, \text{d}\}, \quad P(a)=P(b)=P(c)=P(d)=0.25\]\[H(P) = -4 \times 0.25 \times \log_2 0.25 = 2\] 均等分布の場合,どのトークンも同じ確率で出現する状況,すなわち,予測が最も難しい状況である.エントロピー $H(P)$ は「1トークンあたり平均して含まれる情報量」を表す.ここでは $H(P)=2$ なので,1トークンを知るためには理論的には 2ビットの情報 が必要である.言い換えると,最も不確実な分布[均等分布]の場合,トークンの予測に対する情報量の理論的最大値が2ビットになる.

例2: 偏った分布の言語トークン

\[\mathcal{X} = \{\text{a}, \text{b}, \text{c}, \text{d}\}, \quad P(a)=0.7, \; P(b)=0.1, \; P(c)=0.1, \; P(d)=0.1\] \[H(P) = -(0.7\log_2 0.7 + 3 \times 0.1 \log_2 0.1) \approx 1.36\] 偏った分布では,あるトークンに確率が偏るため,情報論的限界は小さくなる.

参考文献

1. Shannon, C. E. $\textnormal{(1948)}$. A mathematical theory of communication. The Bell System Technical Journal, 27$\textnormal{(3)}$, 379–423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
2. Brill, E., & Moore, R. C. $\textnormal{(2000)}$. An improved error model for noisy-channel spelling correction. Proceedings of the 38th Annual Meeting of the Association for Computational Linguistics $\textnormal{(ACL 2000)}$, 286–293.https://aclanthology.org/P00-1037/

Mathematics is the language with which God has written the universe.