📌 3行要約
- MoE（Mixture of Experts）は、モデルの中に多数の「エキスパート」を用意し、トークンごとにごく一部だけを使う仕組みです。
- 結果として計算量は劇的に減ります。ただし使わないエキスパートも全部メモリに載せておく必要があるので、メモリは1バイトも減りません。
- つまりMoEは「計算」と「メモリ」を交換する技術です。これが主流になるほど、ボトルネックは演算器からメモリと配線へ移っていきます。
2026年7月、中国のムーンショットAIが「Kimi K3」を公開しました。総パラメータ2.8兆。市場は「中国が安く高性能なモデルを作れるなら、高価なAIインフラは要らないのでは」と読んで、AI半導体を売りました。
ただ、そのK3の構成を見ると、こう書いてあります。
896のエキスパートのうち、トークンごとに16をアクティブ化
これがMoEです。そして、この一行を正しく読むと、市場の解釈とはかなり違う話が見えてきます。
今回は「MoEとは何か」を、できるだけ噛み砕いて、そして最後に半導体にとって何を意味するのかまで解説します。
① MoEとは何か —— 一言でいうと
MoEは Mixture of Experts（混合エキスパート） の略です。日本語では「混合専門家モデル」などと訳されます。
一言でいうと、こうです。
モデルの中にたくさんの「担当者」を用意しておいて、仕事が来るたびに、そのうち数人だけを呼び出す仕組み。
従来のモデル（Dense＝密なモデル）は、1つの単語を処理するのにすべてのパラメータを通します。社員100人の会社で、書類1枚を100人全員が順番に確認するようなものです。確実ですが、遅くて高い。
MoEは違います。書類が来たら受付が中身を見て、担当しそうな2人だけに回す。残りの98人は待機です。
この「受付」にあたるのがルーター（Router／ゲート）、「担当者」にあたるのがエキスパート（Expert）です。
② なぜMoEが必要になったのか —— スケーリング則のジレンマ
そもそも、なぜこんな面倒な仕組みを作るのか。
AIの世界にはスケーリング則という経験則があります。ざっくり言えば「パラメータを増やすほど賢くなる」。実際、この10年のAIの進歩は、かなりの部分がこの法則の上を走ってきました。
ところが、Denseなモデルではこれが壁にぶつかります。
パラメータを10倍にすると、1トークンあたりの計算量も10倍になる。
学習コストも、推論コストも、10倍。
賢くしたいけれど、計算費用が青天井になる。ここでMoEの発想が出てきます。
「パラメータは増やしたい。でも計算は増やしたくない。両方できないか？」
これがMoEの動機です。エキスパートを大量に用意して総パラメータは増やす。でも1トークンごとに使うのは一部だけだから、計算量は増えない。賢さと計算コストを、切り離すわけです。
アイデア自体は古く、2017年にGoogleの研究者らが発表した論文が現代的なMoEの出発点とされています（"Outrageously Large Neural Networks"）。2021年のSwitch Transformerで大規模実証が進み、2023年のMixtralあたりからオープンモデルにも広がりました。
③ どう動いているのか —— ルーターとエキスパート
もう少しだけ中身を見ます。
▼ どこがMoEになるのか
ここは意外と知られていないのですが、Transformerの全部がMoE化されるわけではありません。
Transformerは大きくAttention層とFFN層（フィードフォワード層）の繰り返しでできています。MoE化されるのは主にFFN層のほうです。FFN層を「エキスパート」という単位に分割して、そこを出し入れする。
Attention層は基本的にDenseのまま、全トークンで全部使われます。
これが地味に重要です。「896分の16しか使わない＝計算量が1.8%になる」というのは正確ではありません。Attention層や埋め込み層は常に働いているので、実際のアクティブパラメータは単純比例より多くなります。
▼ ルーターの仕事
トークンが来ると、ルーターが各エキスパートに対して「この仕事、あなた向きですか？」というスコアを出します。そして上位k個（トップk）を選ぶ。Kimi K3なら896人にスコアを付けて、上位16人に回す、というイメージです。
▼ 難しいところ：ロードバランス
ここに厄介な問題があります。放っておくと、人気のエキスパートに仕事が集中するのです。
よく働くエキスパートはさらに学習が進み、もっと選ばれるようになる。一方、選ばれないエキスパートは学習されないまま置物になる。エキスパートの死と呼ばれる現象です。
だから実際のMoEには、仕事が均等に分配されるよう仕向ける補助的な損失関数（ロードバランシング損失）が組み込まれています。MoEの学習が難しいと言われるのは、こういう部分が理由です。
④ よくある誤解 ——「エキスパート」は専門分野ではありません
ここは強調しておきたいところです。
「896のエキスパート」と聞くと、「医療担当」「数学担当」「プログラミング担当」みたいに分かれていると思いがちです。実際、そう説明している記事も見かけます。
でも、違います。
エキスパートの担当は、人間が決めたものではありません。
学習の過程で、ルーターが勝手に振り分けを覚えていった結果です。
だから中を開けても「これは法律の専門家」みたいなラベルは出てきません。人間から見て意味のあるカテゴリに分かれている保証もない。トークンの表層的な特徴で分かれていることも多いと報告されています。
「専門家」という訳語がミスリードを生んでいる部分で、実態は「学習で勝手に分業が発生した、名前のない部品の集まり」です。
⑤ 【本題】なぜ計算が減って、メモリが増えるのか
さて、ここからが本題です。
▼ 計算：たしかに減る
使わないエキスパートは、計算しません。だから1トークンあたりの演算量（FLOPS）は、総パラメータではなくアクティブパラメータに比例します。推論が速く、安くなる。ここは市場の理解と一致します。
▼ メモリ：1バイトも減らない
問題はこちらです。
どのエキスパートが選ばれるかは、トークンごとに変わります。
次にどの16人が呼ばれるかは、そのトークンが来るまで分かりません。ということは——896人全員が、いつ呼ばれてもいいように待機していなければならない。つまり全パラメータがメモリに常駐する必要があります。
ざっくり計算してみましょう。2.8兆パラメータをFP8（1パラメータ1バイト）で置くと、重みだけで約2.8TB。H200のHBM容量は141GBですから——
2.8TB ÷ 141GB ≒ 約20枚分
これは重みだけの話です。ここにKVキャッシュ（100万トークンのコンテキスト！）や活性化のメモリが上乗せされます。
量子化すればもっと圧縮できますし、実際の構成はもっと複雑です。あくまでオーダー感の話ですが、方向性ははっきりしています。
MoEとは、FLOPS（計算能力）とメモリ容量を交換するアーキテクチャです。
計算は減らせても、メモリは減らない。むしろ「計算あたりのメモリ要求」は跳ね上がる。
Denseなモデルなら、パラメータを増やせば計算もメモリも同じように増えます。バランスが取れている。MoEはそのバランスを意図的に崩して、メモリ側に全部押し付けることで計算を節約しているのです。
⑥ もう一つの隠れたコスト —— 通信
あまり語られませんが、これも重要です。
2.8TBの重みは、1枚のGPUには載りません。だからエキスパートを複数のGPUに分散して配置します（エキスパート並列）。
すると何が起きるか。
トークンAはGPU3とGPU17のエキスパートに、トークンBはGPU1とGPU9に——というように、トークンごとに行き先がバラバラになります。その結果、全GPUが全GPUとデータをやり取りするAll-to-All通信が発生します。
これがMoEの隠れた重荷です。演算器がどれだけ速くても、GPU間の配線が細ければそこで詰まる。MoEはインターコネクトを食うアーキテクチャでもあるのです。
NVLinkや高速ネットワーク、そして先端パッケージングの重要性が上がっている背景には、こういう事情もあります。
⑦ 実例で見るMoE
数字で見ると分かりやすいので、代表例を並べます。
| モデル | 総パラメータ | アクティブ | 構成 |
|---|---|---|---|
| Mixtral 8x7B（2023） | 約46.7B | 約12.9B | 8中2 |
| DeepSeek-V3（2024） | 671B | 37B | — |
| Kimi K3（2026） | 2.8T | — | 896中16 |
Mixtralの数字が分かりやすいと思います。総46.7Bなのに、1トークンで動くのは12.9B。約3.6分の1です。
ここで注目してほしいのは、「8x7B」という名前なのに総パラメータが56B（7B×8）ではなく46.7Bだという点。Attention層などがエキスパート間で共有されているからです。④で書いた「単純比例ではない」というのは、こういうことです。
そしてDeepSeek-V3の671B→37B。18分の1です。この比率がどんどん極端になっているのが、ここ数年の流れです。
⑧ 【エンジニア視点】半導体にとって、MoEは何を意味するのか
ここがこのブログの本題です。整理します。
▼ FLOPS当たりのメモリ容量要求が上がる
MoEが主流になるほど、「計算は軽いのにメモリは巨大」というモデルが増えます。GPUに求められるのは演算器の数より、載る容量になっていく。HBMの容量と積層段数が効いてくる理由です。
▼ 帯域要求も上がる
推論のうちデコード（1トークンずつ生成する工程）は、典型的なメモリ帯域律速です。演算器がいくら速くても、重みとKVキャッシュをHBMから読み出す速度で頭打ちになる。長いコンテキストが当たり前になるほど、ここが効きます。
HBM3EからHBM4へという世代交代が急がれているのは、こういう理由です。HBMそのものの解説はこちらにまとめています。
▼ インターコネクトが効いてくる
⑥で書いたAll-to-All通信のせいで、GPU間の配線が性能を決めます。NVLink、光インターコネクト、そして先端パッケージング——「配線」が主役になる領域です。
▼ まとめると
MoEが主流になるほど、AIのボトルネックは
「演算器」から「メモリと配線」へ移っていきます。
だから「効率的なモデルが出た＝AI半導体は要らなくなる」という連想には、注意が必要です。効率化されているのは計算であって、メモリではありません。むしろメモリの要求は上がっている。
Kimi K3をきっかけにメモリ株まで売られたことについては、こちらの記事で相場の側から書きました。
まとめ
MoEを一枚で整理すると、こうなります。
- 何をするもの？ → 大量のエキスパートから、トークンごとに一部だけ呼び出す
- なぜ？ → パラメータ（＝賢さ）を増やしても、計算量を増やさないため
- 得するもの → 計算量（FLOPS）、推論速度、コスト
- 損するもの → メモリ容量（全部常駐）、通信（All-to-All）、学習の難しさ
- 誤解しやすい点 → エキスパートは人間が決めた専門分野ではない／計算量は単純比例では減らない
ニュースで「総パラメータ○兆のMoEモデル」という見出しを見たら、「じゃあメモリはどれだけ要るんだ？」と考えてみてください。そこが、この技術のいちばん面白いところです。
※本記事は投資勧誘を目的としたものではありません。投資に関する最終決定は、ご自身の判断と責任において行っていただきますようお願いいたします。
コメントを投稿