最近のLLMについて調べていると、「MoE」という言葉を目にすることが増えてきました。Mixture of Experts、日本語にすると「専門家の混合」です。……これだけ聞いても、よく分からないですよね(笑)
今回は、大型LLMを効率よく動かす仕組みとして注目されるMoEについて紹介します。
一つの巨大モデルを毎回全部使う必要はある?
通常のTransformerモデルでは、入力されたトークンに対してモデル内の層を順番に計算していきます。モデルが大きくなれば、そのぶん多くの計算が必要になります。
そこで、「質問の内容に応じて、必要な部分だけ使えばいいのでは?」という考え方がMoEです。
たくさんの「専門家」を用意する
MoEでは、モデル内部に複数のExpert、つまり専門家に相当するネットワークを持ちます。そしてRouterが入力を見て、「このトークンはExpert AとCへ」「こちらはExpert BとDへ」というように、処理するExpertを選択します。
イメージとしては総合病院です。病院には、
- 内科
- 外科
- 皮膚科
- 眼科
など多くの専門家がいます。でも風邪の患者さんが来たときに、全診療科の医師が一斉に診察するわけではありません。必要な専門家へ振り分けます。MoEもそれに近い仕組みです。
パラメーター数は大きくても計算量を抑えられる
MoEの面白いところは、モデル全体としては非常に大きなパラメーター数を持ちながら、1回の推論ではその一部だけを使えることです。そのため、非常に大きなモデルを比較的効率よく推論できる可能性があります。
ところが、ここで別の問題が出てきます。計算しないExpertも、モデルデータとしては保持しておく必要がある、ということです。つまり計算量は減らせても、モデルを保持するメモリ容量は依然として大きい場合があります。
MoEとメモリオフロードは相性がいい
ここでメモリオフロードが活きてきます。今使っているExpertだけを高速なメモリへ置き、使用頻度の低いExpertは大容量のメモリやSSDへ置く。必要になったExpertを適切なタイミングでロードできれば、すべてのExpertを常にVRAMへ載せる必要を減らせます。これはMoEと非常に相性のよい考え方です。
aiDAPTIV+でも、大型MoE対応モデルのオフロードは推論機能の柱の一つとして位置づけられています。資料ではGPT-OSS-120Bを例に、必要DRAMサイズを抑える構成が紹介されています。
ローカルLLM導入支援の現場では、モデルが動くかどうかだけでなく、どの層へモデルデータを置くかまで含めた設計が重要です。とくに大規模MoEでは、メモリ階層の工夫がハードウェア選定に直結します。
AIは「モデルを丸ごと載せる」から変わっていく?
これまでローカルLLMでは、ネットワーク接続を前提としないオフラインAIを構成する場合も、モデル全体の容量と実際に使うExpertの配置をどう両立させるかがポイントになります。「モデル全体がVRAMへ入るか」が非常に大きな基準でした。
しかしMoEやオフロードが進むと、必要な部分だけ高速メモリへ持ってくるという設計がより重要になってきます。言い換えれば、GPUの容量だけではなく、どのデータを、いつ、どのメモリ階層へ置くかがAI性能を決める時代です。
大容量SSDも、単なるモデル保存場所から、AI計算に参加するメモリ階層の一つへ変わっていくのかもしれません。
クラウドに出せないデータで、自社専用AIをつくる。
Nextorageでは、機密情報や社内ナレッジなど、クラウドサービスに出せないデータを活用して、自社専用AIを構築するためのオンプレミスAIソリューション 「aiDAPTIV+(アイダプティブ・プラス)」 を展開しています。
生成AIを業務で活用したい一方で、
「社外サービスに機密情報を入力できない」
「GPUコストが高く、導入・運用のハードルが高い」
「日本語業務で十分な精度を出したい」
といった課題を感じている企業・組織の方は、ぜひ以下からお問い合わせください。