最近では、自分のPCでLLMを動かす「ローカルLLM」がずいぶん身近になりました。こうしたローカルLLMやオンプレLLMは、クラウドへ処理を出さず、自社側のPCやワークステーション、サーバーで動かすローカルAIの一種です。数Bクラスの小さなモデルであれば、一般的なPCでも比較的簡単に試せます。
ところが、「もっと大きなモデルを動かしたい」となると、すぐに壁になるのがメモリです。今回は、大型LLMを限られたハードウェアで動かすための重要な技術、メモリオフロードについて紹介します。
大きなLLMほど大量のメモリが必要
LLMには数十億、数百億という大量のパラメーターがあります。モデルをGPUで動かす場合、基本的にはこれらをGPUのVRAMに展開します。ところがGPUのVRAM容量は有限です。
そこでモデルを量子化し、16bit → 8bit → 4bitと、1パラメーターあたりのデータ量を減らす方法があります。量子化によって必要なメモリはかなり小さくできます。
それでも、70Bや120Bといった大規模モデルでは、PC一台のGPUだけにすべてを収めるのが難しいことがあります。
オフロードとは「使わないものを別の場所へ置く」
そこで登場するのがメモリオフロードです。考え方は意外とシンプルです。
GPUで今すぐ使うデータはVRAMへ。それ以外のデータは、
- CPU側のDRAM
- SSD
などへ置いておきます。必要になったところだけGPUへ転送して計算します。
つまり、大きな倉庫の商品すべてを店頭へ並べるのではなく、必要な商品だけバックヤードから持ってくるような仕組みです。
「遅いSSDを使ったらAIも遅くなるのでは？」当然そう思いますよね。VRAMとSSDでは速度が大きく違います。そのため、何でもSSDへ置けば速くなるわけではありません。
重要なのは、GPUが必要とするタイミングに合わせて、必要なデータを効率的に転送することです。モデルの構造や計算順序が分かっていれば、次に必要になるデータを先回りしてロードすることもできます。
こうしたデータ配置と転送をミドルウェア側で管理することで、SSDを単なる保存場所ではなく、AI向けのメモリ拡張領域として利用できます。
学習でも推論でもオフロードできる
ローカルLLMのファインチューニングでは、とくに学習時のメモリ量が課題になりやすく、オフロードは限られたGPU環境で検討しやすい技術の一つです。
メモリ不足が問題になるのは学習だけではありません。追加学習では、モデルだけでなく勾配やOptimizerなど、多くのデータを扱います。
一方、推論では、
- 大型モデル本体
- 長文入力によって増えるKVキャッシュ
などがメモリを消費します。
つまりオフロードには、学習時のメモリ拡張と推論時のメモリ拡張という二つの使い方があります。
aiDAPTIVの構成例でも、AIサーバーではGPT-OSS-120Bのフルファインチューニング、AI PCではGPT-OSS-20Bのフルファインチューニング、ノートPCクラスではKVキャッシュ拡張やMoE対応大型LLMの利用といった用途が整理されています。
「VRAM容量＝動かせるAIの上限」を変える
これまでローカルAIでは、「このGPUはVRAM 16GBだから、このサイズまで」という考え方が一般的でした。オフロードを利用すると、この制約を少し違った見方ができます。
もちろん、SSDを使えば無制限に巨大なモデルを高速実行できるわけではありません。PCIe帯域やSSD性能、モデル構造などの影響も受けます。
それでも、モデル全体をVRAMへ載せる必要があるという前提を変えることで、PCやワークステーションで扱えるAIの範囲を広げることができます。
aiDAPTIVの推論向け構成では、大型MoEモデルのオフロードによりGPT-OSS-120Bの実行に必要なDRAM量を抑える構成例も示されています。
今後、大型AIをローカルで使うときは、オンプレLLM構築では、GPU・DRAM・SSD・ソフトウェアを一体で設計する必要があります。ローカルLLM構築費用もGPUだけで決まるわけではなく、必要なモデル規模や学習・推論の用途によって変わります。GPU単体のスペックではなく、GPU・DRAM・SSDを合わせたシステム全体で考えることがますます重要になりそうです。
クラウドに出せないデータで、自社専用AIをつくる。
Nextorageでは、機密情報や社内ナレッジなど、クラウドサービスに出せないデータを活用して、自社専用AIを構築するためのオンプレミスAIソリューション
「aiDAPTIV+（アイダプティブ・プラス）」 を展開しています。
生成AIを業務で活用したい一方で、
「社外サービスに機密情報を入力できない」
「GPUコストが高く、導入・運用のハードルが高い」
「日本語業務で十分な精度を出したい」
といった課題を感じている企業・組織の方は、ぜひ以下からお問い合わせください。