LLM（Large Language Model）の発展は、単純に「モデルの性能が上がった」という尺度だけでは捉えにくいものである。むしろ、モデルが何を可能にしたのか、そしてLLMを利用するための基本的なパラダイムがどのように変化したのかという観点から世代を区分すると、その技術的な進化が明確になる。大きく見ると、LLMは「言語を予測するモデル」から「人間と対話するモデル」へ、さらに「世界を理解するモデル」、そして「推論し、行動するモデル」へと発展してきた。
第1世代は、2022年頃までの基礎研究・黎明期に相当する。この時代の中心的な技術課題は、大規模なニューラルネットワークに大量のテキストを学習させることで、言語の統計的構造をモデル自身に獲得させることであった。BERTは文脈を考慮した言語表現の獲得に大きな進展をもたらし、GPT-3は大規模な自己回帰型言語モデルが、追加学習を行わなくてもプロンプトだけで多様なタスクを処理できることを示した。Googleの初代PaLMも、この大規模化の方向性をさらに押し進めた代表例である。
この世代のブレイクスルーは、LLMを単なる自然言語処理の個別タスク用モデルから、汎用的な言語モデルへと変化させた点にある。ただし、モデルは必ずしも人間の意図を正確に理解していたわけではなく、質問に対して適切に回答する能力と、単純にもっともらしい文章を生成する能力との間には大きな隔たりが存在していた。したがって、この段階では「言語を生成できること」そのものが重要な技術的到達点であった。
2022年末から2023年にかけて登場した第2世代では、LLMの価値を決定的に変えるブレイクスルーが起こった。それが、単に文章を生成するのではなく、人間から与えられた指示に従ってタスクを実行する能力の獲得である。ChatGPTに代表される対話型LLMは、質問への回答、文章の要約、翻訳、コード生成、文章作成などを一つのインターフェースから利用できるようにした。
ここで重要なのは、GPT-3.5やGPT-4そのもののモデルサイズだけではなく、Instruction TuningやRLHF（Reinforcement Learning from Human Feedback）などを通じて、「人間が何を求めているのか」を踏まえて応答する能力が大幅に向上したことである。ClaudeやLlama 2などもこの流れに加わり、LLMは研究者がAPIを通じて利用する技術から、一般ユーザーが自然言語で直接操作するコンピューティング・インターフェースへと変化した。
つまり第1世代の基本単位が「プロンプトからもっともらしいテキストを生成する」であったのに対し、第2世代では「ユーザーの指示を理解して、その目的に沿った回答を生成する」ことが基本単位になったのである。生成AIが専門家の道具から一般に開かれた技術へと転換した起点は、この世代にある。
2023年末から2024年にかけての第3世代では、LLMは「言語だけを扱うモデル」から「複数の情報形式を統合して扱うモデル」へと進化した。GPT-4o、Claude 3および3.5、Gemini 1.5、Llama 3および3.1などが代表的であり、画像、音声、テキストなどを横断して処理するマルチモーダル化が大きな特徴である。
同時に重要だったのが、コンテキストウィンドウの大幅な拡張である。Gemini 1.5などに代表される長大なコンテキスト処理能力によって、従来なら分割しなければ扱えなかった大量の文書、コード、会話履歴などを一つのコンテキストとしてモデルに与えることが可能になった。これは単なる「長い文章を読める」という改善ではなく、LLMを企業の文書、ソースコード、データ、業務プロセスなどと接続するうえで極めて重要な変化である。
さらに、この時期にはMixtralやLlama系などのオープンモデルが急速に発展し、必ずしも巨大なクローズドモデルを利用しなくても、高度な性能を比較的低コストで実現できるようになった。MoE（Mixture of Experts）などのアーキテクチャも含め、モデルの「巨大化」だけではなく、推論効率と実用性を追求する方向が強まったのである。
2024年秋以降に顕著になった第4世代では、LLMの競争軸そのものが変化した。第3世代までの中心的な問いが「どれだけ知識を持ち、どれだけ自然な回答を生成できるか」であったとすれば、第4世代では「複雑な問題をどれだけ正確に解き、どれだけ自律的に仕事を遂行できるか」が中心的な問いとなった。
その象徴が、OpenAIのo1やo3、DeepSeek-R1などに代表される推論モデルである。これらは単純に次のトークンを高速に生成するだけではなく、回答を生成する前に問題を分解し、検証し、必要に応じて複数の推論ステップを経るという方向に進化した。これは技術的には、学習時にパラメータ数やデータ量を増やして性能を伸ばす「学習時スケーリング」から、推論時に思考の過程そのものに計算資源を割り当てる「推論時スケーリング（test-time compute）」への重心移動として理解できる。これによって数学、プログラミング、科学的問題解決など、従来のLLMが比較的苦手としていたタスクに対する性能が大きく向上した。
さらに、この世代ではLLM単体の性能だけでなく、LLMを「エージェント」として動作させることが重要になった。LLMが外部ツール、Web、データベース、コード実行環境、業務システムなどを利用し、複数のステップを自律的に実行することで、LLMは「回答を生成するソフトウェア」から「仕事を遂行するソフトウェア」へと変化し始めたのである。
もう一つの大きな変化が、推論コストの劇的な低下であった。2025年1月に公開されたDeepSeek-R1は、強化学習を中心とした手法によりo1級の推論性能をオープンウェイトかつ低コストで実現し、公開当日に半導体株を含む世界のテック株の時価総額を大きく押し下げるほどの衝撃を市場に与えた。この出来事は、LLM産業に「性能を上げるためには計算資源を際限なく増やす」という従来の前提を問い直させる契機となった。このため第4世代は、単なる「推論モデル世代」ではなく、推論能力、エージェント化、推論コストの低下が同時進行した世代として位置づけられる。
この4世代を連続的に見ると、LLMの進化には明確な方向性がある。第1世代では「言語を予測する能力」、第2世代では「人間の指示に従う能力」、第3世代では「複数の情報形式と大量の文脈を扱う能力」、第4世代では「推論して行動する能力」が中心になったのである。
したがって、この時期のLLMの歴史は単純なパラメータ数の増加として理解するよりも、Prediction、Instruction、Multimodality、Reasoning and Actionという能力の拡張として捉える方が本質的である。特に第4世代では、LLMそのものが最終製品なのではなく、推論モデルを中核にしてツール、外部データ、メモリ、実行環境を組み合わせることで「AIシステム」へと発展している点が重要である。
個別のモデル名や発表年は急速に陳腐化する。したがって、以降の世代交代を捉えるためには、特定の製品ではなく、次の三つの軸で質的な転換の有無を判断する視点が有効である。
第一の軸は、能力の軸である。第1世代から第4世代までの変化は、それぞれ「予測する」「指示に従う」「複数の情報形式と文脈を扱う」「推論して行動する」という、モデルが単独で遂行できるタスクの質的な拡張として整理できた。世代交代を見分ける際には、単なる精度やスコアの向上ではなく、従来は原理的にできなかったことができるようになったかどうかが判断基準になる。
第二の軸は、人間との関係性の軸である。第2世代は「操作する道具」から「指示に従う対話相手」への転換であり、第4世代は「回答するソフトウェア」から「仕事を遂行するソフトウェア」への転換であった。以降の世代でも、LLMが人間の業務プロセスや意思決定においてどのような役割を担うようになるか、すなわち人間の監督や介入がどの程度まで不要になっていくかという関係性の変化が、実質的な世代交代の指標となる。
第三の軸は、コストと供給構造の軸である。第3世代でのオープンモデルの台頭、第4世代でのDeepSeek-R1による推論コストの劇的な低下は、いずれも「同じ能力をどれだけ安く、どれだけ広く供給できるか」という産業構造上の転換でもあった。特定の企業や地域による計算資源の寡占が崩れるか強化されるかは、技術そのものと同じくらい世代の性格を規定する要因である。
この三つの軸のいずれか、あるいは複数において不可逆的な質的転換が生じたとき、それは新たな世代の始まりとして記録されるに値する。
Mathematics is the language with which God has written the universe.