大規模言語モデル（LLM）のアーキテクチャは、2017年のTransformer登場を起点として、Transformerを大規模化する段階から、Attention、FFN、位置表現、正規化、KVキャッシュなどの各構成要素を個別に最適化する段階へ進み、さらにMoE（Mixture of Experts）や長文脈向けAttention、状態空間モデル（SSM）、線形Attention、再帰型構造などを組み合わせる段階へ発展してきた。この変化は、単純な「パラメータ数の増加」ではなく、限られた計算資源でより大きなモデルとより長いコンテキストを処理するための計算構造そのものの進化である。
Transformer以前の自然言語処理では、RNNやLSTMなどの再帰型ニューラルネットワークが主要な系列モデルであった。これらは入力を順番に処理するため、長い系列では過去の情報を保持することが難しく、またGPUによる大規模な並列計算にも制約があった。2017年に発表されたTransformerは、Self-Attentionによって系列内の各トークン間の関係を直接計算することで、この制約を大きく緩和した。
TransformerはEncoderとDecoderから構成されるアーキテクチャとして提案されたが、その後のLLMではDecoder側を中心とする構造が主流となった。GPT系列はその代表例であり、入力されたトークン列から次のトークンを予測する自己回帰型のDecoder-only Transformerとして発展した。GPT-2はこの系譜における初期の代表的モデルであり、現在のLLMに通じる基本構造、すなわちCausal Self-AttentionとFeed-Forward Networkを持つTransformerブロックを多数積層する方式を明確に示している。
GPT-2以降の発展では、Transformerという基本構造そのものを変更するよりも、その内部部品を改良する方向が強くなった。位置情報についてはRoPE（Rotary Positional Embedding）が広く利用されるようになり、Layer NormalizationについてはRMSNormが普及した。また、FFNについても従来の単純な活性化関数からSwiGLUなどのゲーティング機構を持つ構造へ移行した。
Llama系列は、この「Transformerを維持しながら内部を洗練する」流れを代表する存在である。Llama 3などでは、Decoder-only Transformerを基本としながら、RoPE、RMSNorm、SwiGLU、GQAなどを組み合わせることで、モデルの性能と推論効率の両立が図られている。この段階では、LLMの進歩は主としてモデル規模、学習データ、学習方法とTransformer内部の最適化によって実現されていた。
LLMが巨大化すると、学習時の演算量だけでなく、推論時に必要となるKVキャッシュが重要な問題となった。自己回帰生成では、過去のKeyとValueをKVキャッシュとして保持するため、コンテキストが長くなるほどGPUメモリの消費量が増加する。特に大規模モデルでは、推論性能が単純な演算能力だけでなく、メモリ容量とメモリ帯域によって制約されるようになった。
この問題に対する代表的な解決策がMQA（Multi-Query Attention）とGQA（Grouped-Query Attention）である。通常のMHA（Multi-Head Attention）では各Query HeadがそれぞれKeyとValueを持つが、MQAでは全Query HeadでKeyとValueを共有する。GQAはその中間に位置し、複数のQuery Headをグループ化してKey・Valueを共有する。これによってモデルの表現能力を大きく損なわずにKVキャッシュを削減できるため、Llama、Qwen、Gemmaなど多くの現代的LLMで採用されるようになった。
LLMの規模を拡大するもう一つの方向がMoEである。通常のDense Transformerでは、各トークンが各層のFFNをすべて通過する。これに対してMoEでは、FFNを複数のExpertに分割し、Routerによってトークンごとに使用するExpertを選択する。したがって、モデル全体では非常に多数のパラメータを持ちながら、1トークンの処理ではその一部だけを計算することが可能となる。
MoE自体はTransformer以前から存在する考え方であるが、LLMの大規模化によって極めて重要なアーキテクチャとなった。Mixtralをはじめ、DeepSeek V2/V3、Qwen3、Kimi K2、GLM系列などがその代表例である。例えば「235B-A22B」のような表記（Qwen3-235B-A22Bなど）では、総パラメータ数が約2350億である一方、1トークンの処理で実際に活性化されるパラメータが約220億であることを示している。これにより「モデル全体の知識容量」と「1トークン当たりの計算量」を切り離して設計できるようになった。
MoEと並んで重要なのが、Attentionそのものを効率化する技術である。DeepSeek V2（2024年5月）以降で採用されたMLA（Multi-head Latent Attention）は、その代表的な方式である。GQAがKeyとValueを複数のQuery Headで共有することでKVキャッシュを削減するのに対し、MLAはKey・Valueに相当する情報を潜在表現へ圧縮して保持することで、KVキャッシュのメモリ使用量を大幅に削減するという発想である。
DeepSeek V3では、このMLAとMoEが組み合わされた。つまり、FFN側ではMoEによって計算するExpertを限定し、Attention側ではMLAによってKVキャッシュを圧縮するという二方向からの効率化が行われている。この設計思想はDeepSeekにとどまらず、後発のKimi K2.5やGLM-5などもMLAを採用しており、MLAは一時的な独自技術というより、大規模MoEモデルにおける標準的な選択肢の一つとして定着している。
LLMのコンテキスト長が数万、数十万、さらには100万トークン規模へ拡大すると、通常のSelf-Attentionをそのまま適用することが新たなボトルネックとなる。Attentionは基本的にトークン間の組み合わせを計算するため、系列長が増加すると計算量が急速に増大するからである。
そこでSliding Window AttentionやSparse Attentionなど、Attentionを限定する方式が発展した。Sliding Window Attentionでは各トークンが近傍の一定範囲を中心にAttentionすることで計算量を抑え、Sparse Attentionでは必要な部分だけを選択的に計算する。Mistral系列などで用いられたSliding Window Attentionは、この方向性をLLMへ本格的に導入した代表例である。
Sparse Attentionはその後さらに発展し、あらかじめ固定した範囲を参照するのではなく、どのトークンを参照すべきかをモデル自身に学習させる方式が登場した。DeepSeekが提案したNSA（Native Sparse Attention）は、推論時にのみ疎性を導入する従来の手法とは異なり、事前学習の段階から疎な参照パターンをエンドツーエンドで学習させる点に特徴がある。さらにDeepSeek V3.2では、軽量な採点機構（Lightning Indexer）によって各トークンが参照すべき過去のトークンを絞り込むDSA（DeepSeek Sparse Attention）が導入され、これをMLAと組み合わせることで、計算量をトークン数の2乗（O(L^2)）から線形に近いオーダー（O(Lk)）へ縮小しつつ、長文脈タスクの推論コストを大幅に削減している。同様の設計思想はGLM-5にも取り入れられており、MLAとDSAを併用するモデルが2025年後半以降に増えている。
2024年前後からは、Transformerそのものに代わる系列処理方式も再び注目されるようになった。その代表がState Space Model（SSM）であり、Mambaはその代表的なアーキテクチャである。SSMは、Attentionによって過去のトークンとの関係を逐一計算するのではなく、系列情報を状態として更新していくことで、長い系列を効率的に処理することを目指す。
この流れは、Transformer以前のRNNへの単純な回帰ではない。現代のSSMは、並列計算、選択的状態更新、ハードウェア効率などを考慮して設計されており、従来型RNNとは異なる。さらにxLSTMのような現代的な再帰型アーキテクチャも登場しており、Attention以外の系列処理方式がLLMの有力な選択肢として再評価されている。
これに加えて、線形Attション（Linear Attention）を基盤とする方式も実用段階に入っている。Gated DeltaNetはその代表例であり、Mamba2のゲーティング機構とDelta Rule（誤差修正的な状態更新則）を組み合わせることで、KVキャッシュに相当するものを固定サイズの再帰的な状態として保持する。これによりコンテキスト長が伸びても1トークン当たりの計算量とメモリ使用量がほぼ一定に保たれる。SSMがAttentionそのものを状態空間モデルへ置き換える発想であるのに対し、Gated DeltaNetはAttentionの計算式を線形化することで同種の効果を得る、系統の異なるアプローチである。
現在のLLMアーキテクチャで特に重要なのは、TransformerとSSM・線形Attentionなどを単純に競わせるのではなく、それぞれを組み合わせるハイブリッド化である。Attentionは遠距離のトークン間関係を柔軟に扱うことに優れ、SSMや線形Attention、再帰型ブロックは系列情報を低コストで保持・更新することに適している。そのため、モデルの全層を同一のブロックにするのではなく、Attention層とSSM系・線形Attention系の層を混在させる設計が研究・実用の双方で進展している。
この方向性を早期に実用化した例がAI21 LabsのJamba（2024年3月発表）である。JambaはTransformer層とMamba層を約1対7の比率で交互に配置し、そこにMoEを組み合わせた構成をとっており、256Kトークンという長いコンテキストを単一GPUで扱えることを示した。後継のJamba 1.5では総パラメータ398B・活性化パラメータ94Bの規模までスケールしており、Transformer・Mamba・MoEを組み合わせるハイブリッド構造が実運用に耐えることを実証した初期の代表例として位置づけられる。
その後、線形Attentionを用いたハイブリッド化も本格化した。Qwen3-Next、およびそれを引き継ぐQwen3.5では、Gated DeltaNet層と通常のAttention層をおおむね3対1の比率で交互に配置するハイブリッド構成が採用されている。大部分の層を線形Attentionが占めることでKVキャッシュの増大を抑えつつ、一部の層に通常のAttentionを残すことで、長距離依存や正確な情報検索に必要な性能を維持する設計である。
さらに、このハイブリッド化にMoEやSparse Attentionを加えることも可能である。すると、Attentionによるトークン間の情報交換、SSMや線形Attentionによる効率的な系列処理、MoEによる条件付き計算、Sparse Attentionによる参照範囲の絞り込みという異なる計算原理を一つのモデルに組み込める。Nemotron、Qwen、Kimi、GLMなどのモデル群に見られる複雑化は、このような「一種類のブロックですべてを処理する」という発想からの離脱として理解できる。
2025～2026年になると、LLMのアーキテクチャは明確に多様化している。Dense Transformer、MoE Transformer、MLAを備えたMoE、DSAのようなSparse Attentionを組み込んだモデル、Gated DeltaNetのような線形Attentionを用いるモデル、SSMや再帰型ブロックを利用するモデル、さらにそれらを組み合わせたハイブリッドモデルが並存している。したがって、現在のLLMを単に「Transformerモデル」と一括りにするだけでは、その構造的な違いを十分に説明できなくなっている。
この変化によって、モデルの比較指標も変わった。従来は「何十億パラメータのモデルか」が主要な指標であったが、現在ではTotal Parametersだけでなく、Active Parameters、Attention方式（MHA・GQA・MLA・Sparse・線形Attentionのいずれか、あるいはその組み合わせ）、KVキャッシュ量、コンテキスト長、Expert数、Expertの選択数、各層の構成などを見る必要がある。特にMoEでは総パラメータ数と実際の計算量が一致せず、MLAやGated DeltaNetではパラメータ数だけでは推論時のメモリ負荷を判断できないからである。
LLMのアーキテクチャ史を大きな流れとして捉えると、「RNNからTransformerへ」という第一の転換、「Transformerの大規模化と内部最適化」という第二の段階、「MoEによる条件付き計算」と「GQA・MLAによるAttentionの効率化」という第三の段階を経て、現在は「Attention、MoE、Sparse Attention、SSM、線形Attention、再帰型構造などを目的に応じて組み合わせる」段階へ移行していると整理できる。
現在のLLM開発における本質的な競争は、単純に最も巨大なTransformerを作ることではない。推論時にどれだけの計算を実行し、どれだけの状態をメモリに保持し、どのトークンにどの計算資源を割り当て、長いコンテキストをどのように処理するかという「計算資源の設計」が中心となっている。Transformerは依然としてLLMの中心的技術であるが、その内部はすでに一枚岩ではなく、Attention、MoE、キャッシュ圧縮、Sparse化、状態空間モデル、線形Attention、再帰型計算などを組み合わせた複合的な計算システムへと変化している。
Mathematics is the language with which God has written the universe.