コンピュータは自動で計算する機械ということが出来る.こうした意味でのコンピュータは,その起源を古代エジプトにまで遡ることができるでしょう.
しかし,急速に発展を遂げたのは産業革命以降だといえる.ジェームズ・ワット[James Watt,1736/1/19-1819/8/19]の蒸気機関は産業革命の象徴であるが,チャールズ・バベッジ[Charles Babbage,1791/12/26-1871/10/18]の蒸気機関を用いた階差機関[機械式汎用コンピュータ]は当時必要とされていた膨大な手計算の歯車の動きによって自動化しようとするものだった.残念ながら,バベッジの試みは成功することはなかった.しかし,それは非常に大きな一歩だった.バベッジの階差機関[機械式汎用コンピュータ]は歯車の一つの歯という離散的な量を用いて計算を行なっているためデジタルコンピュータの嚆矢といえる.この点で,バベッジ以前の連続的な物理量を用いて計算を実行していた,それまでのアナログコンピュータとは一線を画していた.
しかし,バベッジの失敗の後,コンピュータの世界はアナログコンピュータの時代が続く.アナログコンピュータの特徴は物理法則を上手に計算に利用していることにある.その物理現象に精通していなければ計算が実行できないのである.物理現象と計算とは分離し,計算を行う物理系と計算の実行が分離するためには,計算という行為の抽象化が必要であり,それにはアラン・チューリング[Alan Mathieson Turing,1912/6/23-1954/6/7]の登場を待たなくてはならなかった.
チューリングは1936年にチューリングマシンと呼ばれることになる,問題を解く手順[アルゴリズム]を実行する機械を考案.無限に長い1本のテープと,テープに書かれた文字を読み書きするためのヘッドからなる単純な構造.しかし,このチューリングマシンは原理的には現代のコンピュータ[古典コンピュータ]の血脈を受け継いでいる.チューリングはアルゴリズムと計算の原理を探求したが,この流れは,やがて,オートマトン理論・形式言語理論といったコンピュータ・サイエンスの基礎理論を生み出して行くこととなる.
同時期に,シャノンはブールが基礎付けを行った計算可能な論理を,論理回路・通信回路として実現する道を拓いた.また,情報が計測できるものとして,情報の定義から「意味」を削ぎ落として,確率と密接な関係を持つ「ビット[binary digit]」という単位を生み出した.こうして,様々な情報を機械の言葉に符号化することが可能となった.情報という概念が分析が可能な形として生まれ変わったのである.
シャノンは,あらゆる算術計算は論理演算の命題に帰着することを示し,電気的なスイッチの組み合わせである論理回路で行うことができることを明らかにした.
現在の入力値だけでなく,過去の入力値によって出力値を決定する論理回路は順序回路と呼ばれる.この順序回路を利用して,チューリングマシンを実現することが考えられて行く.そして,フォン・ノイマンがノイマン型と呼ばれることになる,プログラムを記憶装置に蓄え,順番に読み込んで計算を行う現在のコンピュータの仕組みを考案した.ノイマン型コンピュータは現在のコンピュータへと繋がって行くが,その基礎はチューリングとシャノンにあったといえる.
量子力学の研究により,量子を使えば高速計算ができることは知られていた.しかし,不確定性原理から,計算過程でエネルギーを消費し,情報が失われてしまうことが知られていた.そのため,高速計算が期待されていた量子コンピュータは原理的に実現不可能とされていた.ところが,1981年,ポール・ベニオフ[Paul Benioff]が,古典的チューリングマシン[Classical Turing Machine]で計算できることは量子システム[Quantum System]で計算できることを示した.つまり,量子系においてエネルギーを消費せず計算が可能であることを示した.これによって,量子コンピュータへの道が開かれた.さらに,1985年にはデイビット・ドイチュ[David Deutsch]は,古典的チューリングマシンの概念を量子計算にまで拡張し,量子チューリングマシン[Quantum Turing Machin]の定式化を行った.これによって,量子コンピュータが通常のコンピュータと同様な考え方で実現できることが明らかになった.
古典コンピュータでは,情報は二値の古典ビットによって表現される.そのビットに対して論理演算を行うことで計算が実行される.一方,量子コンピュータでは,情報は量子ビットによって表現される.その量子ビットに対して,量子演算を行うことによって計算が実行される.量子世界においては状態は確率ではなく,測定によって確率となる確率振幅によって表現される.古典コンピュータは確率を扱うことはできても,確率振幅を操作することが出来ない.
量子情報理論[quantum information theory;QIT]によれば,情報の送信および情報操作は常にエントロピー増大を伴うとされている.これに関連して,理想気体のエントロピーが不可逆過程で常に増大するという,統計力学の基本定理のH定理[H-Theorem]の量子力学的解釈が量子情報理論によってなされている[Lesovik, G., Lebedev, A., Sadovskyy, I. et al. H-theorem in quantum physics. Sci Rep 6, 32815 [2016] ].
コルモゴロフは全測度が 1 の測度を確率,積分を期待値とした『確率論の基礎概念』[1933]によって公理的確率論を打ち立てました.その確率論は集合論・測度論・ルベーグ積分を基礎としています.測度は面積などの大きさを抽象化したもので,ルベーグ積分も測度を基礎として定式化出来ます.ルベーグ積分は測度概念などを組み合わせることで様々な積分を扱うことが可能に.但し,ルベーグ積分不可能であるが広義リーマン積分が可能な関数というものも存在します.ところが,ルベーグ積分は極限と組み合わせて広義ルベーグ積分に拡張でき,広義ルベーグ積分は広義リーマン積分とルベーグ積分を包含します.
情報幾何学は，確率分布の空間が持つ非ユークリッド的な幾何学的な構造に基づいて，推定・検定・学習などの仕組みを解析する一つの方法論です．情報幾何学は，統計学・機械学習などの異分野間の共通言語的な役割を持っています．
有限集合上の確率分布全体からなる空間は，リーマン計量と双対なアファイン接続とを持つ双対平坦空間の典型例となります．その空間では，不変な幾何構造としてリーマン計量と双対アファイン接続が現れます．そして，この双対アファイン接続の微分幾何学が情報幾何学になります．
ユークリッド空間[Euclidean space]の内積[inner product;エルミート内積,ユニタリ内積]と呼ばれる演算を無限次元の関数の空間にまで広げて考えた抽象的な空間を考えたものはヒルベルト空間[Hilbert space]と呼ばれます．つまり，ヒルベルト空間[Hilbert space]は完備な内積空間ということになります．一方，長さを一般化したノルムを考えたとき，完備なノルム空間[normed space]はバナッハ空間[Banach space]と言われます．
さらに，ユークリッド空間[Euclidean space]における曲線や曲面を一般化[高次元化]したものが多様体と言われます．
1つの確率分布を高次元空間内の点だと考えると，確率分布の集まりは高次元空間内の点の集まり，すなわち多様体だと捉えることができます．多様体では曲がった空間の内積に相当するリーマン計量[Riemannian manifold]や，接ベクトル場を微分とみなすアフィン接続[affine connection]を考えます．
統計多様体上にはフィッシャー情報行列[FIM, Fisher information matrix]という重要な量が定義されるのですが，これが一つのリーマン計量[フィッシャー計量]を定めることが知られています[C.R. Rao]．
また，Efron は統計多様体上に埋め込み曲率を導入し，これが統計的推定の2次漸近理論において重要な役割を果たすことを見いだします．さらに，A.P. Dawid が，この曲率が非計量的なアフィン接続に関係していることを明らかにしました．
ここに，多様体と同様に，統計多様体においても，リーマン計量[フィッシャー計量]とアフィン接続[α-接続]が重要な役割を担うことが明らかになりました．
行列の要素が何らかの確率分布に従う確率変数となっているランダム行列[行列値確率変数]は，ヒルベルト空間[Hilbert space]上の有界線型作用素[連続線型写像]のなす複素数体上の線型環において，適当なノルムによる位相を定めた作用素環[operator algebras]と関係する非可換確率変数の一つの近似的表現を与えています．そして，非可換確率[自由確率]の様々な概念は様々なランダム行列の漸近固有値分布の評価に資することが知られています．
非可換確率[自由確率，代数的確率]は，確率変数のなす可換代数と平均値の持つ性質を抽象化したものであり，つまり，古典確率論における確率空間を抽象化したものとなっています．
この非可換確率[自由確率]においても多様体は重要な役割を担います．
すなわち，量子状態[密度作用素]を要素とする多様体上にもリーマン計量[フィッシャー計量]やアフィン接続[α-接続]の類似物を考えることができます．
量子状態から成るm次元多様体MとMの一つの座標系θを考えたとき，θにおけるMの対称対数微分[SLD;symmetric logarithmic derivative]を要素とするSLDフィッシャー計量[Bures計量]や，フィッシャー計量における確率分布を密度作用素に置き換えたBKM計量[Bogoliubov-Kubo-Mori計量]はリーマン計量[フィッシャー計量]におけるの類似物といえます．
ばらつきの原因が加算過程に従う場合,その統計は正規分布となります.一方,ばらつきの原因が乗算過程に従う場合は,その統計は対数正規分布となります.対数正規分布は標準偏差が平均値と比べて小さくなると正規分布に近づいていきます.逆に,標準偏差が大きくなると対数正規分布はべき乗分布に近づきます.
正規分布に対応する情報量はシャノンエントロピーですが,べき乗分布に対応する情報量はツァリスエントロピーです.同様にして,相対エントロピーであるダイバージェンスは正規分布の場合はKLダイバージェンス,べき乗分布の場合はα-ダイバージェンスとなります.
命題 集合の公理 言語 群 環 体 圏 情報量 オートマトン 有限オートマトン ミクロの世界の論理 古典情報と量子情報 受理状態 基本演算子 有限オートマトンの種類 状態遷移関数 非決定性有限オートマトン 正規表現 正規文法 文脈自由文法 プッシュダウンオートマトン セルオートマトン 正規言語 有限オートマトンの多様体 形式文法 導出 ゾゾウスキ導分 導出 形式文法と有限オートマトン バナッハ空間 距離関数 微分 相空間 アフィン空間 ヒルベルト空間 共役と*代数 結合代数と可換代数 C*-環
写像 関数 ワイル代数 系 質点 力学変数 等速直線運動 等加速度運動 運動方程式 2次元の等加速度運動 エネルギーの原理 ラグランジアン 汎関数 超関数
位相空間 ノルム 実数の連続性 有限集合,可算集合,高々可算集合
コルモゴロフの公理 σ集合族 σ集合族の性質 ボレル集合族 完全加法族 可測空間 確率測度 確率と確率空間 測度
ベルヌーイ分布 ベルヌーイ分布とポアソン分布
ベルヌーイ分布から正規分布の導出
t分布 カイ二乗分布 F分布 ガンマ関数 ガンマ関数と階乗 ガンマ分布 ウォリスの積分 ウォリスの公式 スターリングの公式[ガンマ関数の漸近近似] モーメント母関数 制御
Latexコマンド
[旧目次][空と雲][英単語帳]