情報幾何&情報理論に関する備忘録
Information Geometry & Information Theory

情報幾何学は,確率分布の空間が持つ非ユークリッド的な幾何学的な構造に基づいて,推定・検定・学習などの仕組みを解析する一つの方法論です.情報幾何学は,統計学・機械学習などの異分野間の共通言語的な役割を持っています.
有限集合上の確率分布全体からなる空間は,リーマン計量と双対なアファイン接続とを持つ双対平坦空間の典型例となります.その空間では,不変な幾何構造としてリーマン計量と双対アファイン接続が現れます.そして,この双対アファイン接続の微分幾何学が情報幾何学になります.
ユークリッド空間[Euclidean space]の内積[inner product;エルミート内積,ユニタリ内積]と呼ばれる演算を無限次元の関数の空間にまで広げて考えた抽象的な空間を考えたものはヒルベルト空間[Hilbert space]と呼ばれます.つまり,ヒルベルト空間[Hilbert space]は完備な内積空間ということになります.一方,長さを一般化したノルムを考えたとき,完備なノルム空間[normed space]はバナッハ空間[Banach space]と言われます.
さらに,ユークリッド空間[Euclidean space]における曲線や曲面を一般化[高次元化]したものが多様体と言われます.
1つの確率分布を高次元空間内の点だと考えると,確率分布の集まりは高次元空間内の点の集まり,すなわち多様体だと捉えることができます.多様体では曲がった空間の内積に相当するリーマン計量[Riemannian manifold]や,接ベクトル場を微分とみなすアフィン接続[affine connection]を考えます.
統計多様体上にはフィッシャー情報行列[FIM, Fisher information matrix]という重要な量が定義されるのですが,これが一つのリーマン計量[フィッシャー計量]を定めることが知られています[C.R. Rao].
また,Efron は統計多様体上に埋め込み曲率を導入し,これが統計的推定の2次漸近理論において重要な役割を果たすことを見いだします.さらに,A.P. Dawid が,この曲率が非計量的なアフィン接続に関係していることを明らかにしました.
ここに,多様体と同様に,統計多様体においても,リーマン計量[フィッシャー計量]とアフィン接続[α-接続]が重要な役割を担うことが明らかになりました.
行列の要素が何らかの確率分布に従う確率変数となっているランダム行列[行列値確率変数]は,ヒルベルト空間[Hilbert space]上の有界線型作用素[連続線型写像]のなす複素数体上の線型環において,適当なノルムによる位相を定めた作用素環[operator algebras]と関係する非可換確率変数の一つの近似的表現を与えています.そして,非可換確率[自由確率]の様々な概念は様々なランダム行列の漸近固有値分布の評価に資することが知られています.
非可換確率[自由確率,代数的確率]は,確率変数のなす可換代数と平均値の持つ性質を抽象化したものであり,つまり,古典確率論における確率空間を抽象化したものとなっています.
この非可換確率[自由確率]においても多様体は重要な役割を担います.
すなわち,量子状態[密度作用素]を要素とする多様体上にもリーマン計量[フィッシャー計量]やアフィン接続[α-接続]の類似物を考えることができます.
量子状態から成るm次元多様体MとMの一つの座標系θを考えたとき,θにおけるMの対称対数微分[SLD;symmetric logarithmic derivative]を要素とするSLDフィッシャー計量[Bures計量]や,フィッシャー計量における確率分布を密度作用素に置き換えたBKM計量[Bogoliubov-Kubo-Mori計量]はリーマン計量[フィッシャー計量]におけるの類似物といえます.

索引/index

命題 集合の公理 言語 情報量 オートマトン 有限オートマトン ミクロの世界の論理 古典情報と量子情報 受理状態 基本演算子 有限オートマトンの種類 状態遷移関数 非決定性有限オートマトン 正規表現 正規文法 文脈自由文法 プッシュダウンオートマトン セルオートマトン 正規言語 有限オートマトンの多様体 形式文法 導出 ゾゾウスキ導分 導出 形式文法と有限オートマトン バナッハ空間 距離関数 微分 相空間 アフィン空間 ヒルベルト空間 共役と*代数 結合代数と可換代数 C*-環 ワイル代数 質点 力学変数 ラグランジアン 汎関数 超関数
コルモゴロフの公理 σ集合族 σ集合族の性質 ボレル集合族 完全加法族 可測空間 確率測度 確率と確率空間 測度 
ベルヌーイ分布 ベルヌーイ分布とポアソン分布 ベルヌーイ分布から正規分布の導出 t分布 カイ二乗分布 F分布 ガンマ関数 ガンマ関数と階乗 ガンマ分布 モーメント母関数 制御
Latexコマンド
[旧目次][空と雲][英単語帳]