Definition：bit
ビット（bit、binary digitの略）とは、電子回路における2つの安定した物理状態（電圧の高低やスイッチのオン・オフなど）に対応づけられた、情報の最小単位である。この物理的な2状態が抽象化されて0と1という数値として扱われ、これが2進数の一桁を構成する。したがって、ビットは単なる論理的・数学的な概念ではなく、電子回路の物理的性質に根ざした情報表現の基本単位である
ビット（bit）とは、情報の最小単位であり、"binary digit"（2進数字）を短縮した造語である。ビットは0または1のいずれか一方の値のみを取り、コンピュータの電子回路における2つの安定した物理状態（電圧の高低、スイッチのオン・オフなど）に対応づけられている。この物理的な2状態を抽象化し、数値として扱ったものが0と1であり、これが2進法における一桁を構成する。
$n$ 個のビットを並べることで、$2^n$ 通りの状態を表現することが可能である。例えば1ビットでは2通り、8ビット（1バイト）では、\[2^8 = 256\]
通りの状態を表現できる。
コンピュータが2進法を採用している理由は、電子回路の物理的性質に起因する。トランジスタや論理回路といった電子部品は、電圧の高低やスイッチのオン・オフという2つの安定した状態を区別することには長けているが、10進法のように10通りの状態を電気的に正確かつ安定して区別することは、ノイズや電圧変動の影響を受けやすく、技術的に困難である。この物理的制約と、誤り耐性・信頼性の要請から、情報を2状態のみで表現する2進法が選ばれた。
ビットという語が初めて用いられたのは1940年代である。1948年、アメリカの数学者クロード・シャノン（Claude Shannon）は、情報理論の基礎を築いた論文『A Mathematical Theory of Communication』を発表。この論文の中でシャノンは、情報量の単位として"bit"という語を用いたが、この語自体を考案したのはベル研究所の統計学者ジョン・テューキー（John W. Tukey）であるとされている。テューキーは"binary digit"という表現を短縮し、"bit"という語を提案した。シャノン自身も論文中でこの経緯に触れ、テューキーの功績を明記している。
もっとも、2進法という数学的概念そのものはこれよりはるか以前から存在していた。17世紀にはドイツの数学者ゴットフリート・ライプニッツ（Gottfried Wilhelm Leibniz）が2進法の体系を研究し、0と1のみによる数表現の理論的基礎を築いていた。また19世紀には、イギリスの数学者ジョージ・ブール（George Boole）が論理演算を代数的に扱うブール代数を確立し、真（true）と偽（false）という2値の論理体系を数学的に定式化した。このブール代数が、後の論理回路設計における理論的支柱となった。
さらに1937年には、クロード・シャノン自身が修士論文『A Symbolic Analysis of Relay and Switching Circuits』において、ブール代数を用いてリレー回路やスイッチング回路を設計・解析できることを示した。これは、2進法の論理体系と電気回路とを直接結びつけた画期的な業績であり、後のデジタルコンピュータ設計の理論的基盤となった。
シャノンの情報理論において、ビットは単なる2進数の桁を指すだけでなく、情報量そのものを測る単位としても定義されている。ある事象が生起する確率を $p$ とすると、その事象が起きたことを知らされたときに得られる情報量は、\[I = -\log_2 p\]
と定義される。これは、生起確率が低い事象ほど、それが起きたと知ったときに得られる情報量が大きいことを意味する。
さらに、複数の事象からなる確率分布全体の平均情報量（情報エントロピー）は、各事象の生起確率を $p_i$ として、\[H = -\sum_{i} p_i \log_2 p_i\]
と表される。この式はシャノンエントロピーと呼ばれ、情報理論の中核をなす概念である。単位は「ビット」であり、これは1回の2択（コイン投げのような、確率2分の1の事象）から得られる情報量を1ビットと定めていることに由来する。
なお、シャノン以前の1928年には、同じくベル研究所の技術者ラルフ・ハートレー（Ralph Hartley）が、$N$ 個の等確率な選択肢から情報量を測る式\[H = \log_2 N\]
を提案しており、これがシャノンの情報理論の先駆的研究として位置づけられている。
コンピュータの実用化が進む中で、複数のビットをまとめて扱う必要が生じた。特に文字コードを表現する際、1文字を表すのに必要なビット数として8ビットが広く採用されるようになり、これがバイト（byte）という単位として定着した。1バイト=8ビットという構成は、IBMのSystem/360をはじめとする1960年代のコンピュータアーキテクチャの標準化を通じて広く普及した。
Mathematics is the language with which God has written the universe.