集めたデータの平均,中位数,四分位数,標準偏差,相関係数,回帰係数などを計算し,観察された資料の集団としての性質を記述することをおもな目的とする統計理論を記述統計という.
記述統計は遺伝学者のゴルトン[1822-1911],経済学者のエッジワース[1845-1926],生物統計学者のK.ピアソン[1857-1936]によって打ち立てられた.記述統計という呼び方は,K.ピアソンが『科学の文法』の中の主張「科学は記述であって説明ではない」に依拠している.
観測データの背後に仮説としての母集団を考え,観測データは母集団からの無作為標本とし,標本から母集団特性を推定し検定するという考え方を推測統計学という.この推測統計学は1922年のR.A.フィッシャー[1890-1962]による『理論統計学の数学的基礎』を以って幕が開いた.
平均,中位数,四分位数,標準偏差,相関係数,回帰係数といった記述統計で用いられた尺度は推測統計学においても共通して用いられる.
母集団分布の母数に関する仮説を標本[観測データ]から検証する方法を,仮説検定[hypothesis testing],もしくは,統計的仮説検定[statistical hypothesis testing]という.
統計的仮説検定はJ.ネイマン[1894-1981]とE.S.ピアソン[1895-1980]によって体系化された.