生成AIの環境を調べていると、「VRAM 16GBでは足りない」「32GBあっても大きなモデルは厳しい」「ファインチューニングにはもっと必要」といった話をよく見かけます。
でも、そもそもなぜ生成AIはそんなに大量のVRAMを使うのでしょうか？今回は、生成AIとGPUメモリの関係について、できるだけ分かりやすく見ていきます。
VRAMはGPU専用の作業スペース
GPUには、VRAM（Video RAM）と呼ばれる専用メモリが搭載されています。PC全体で使うDRAMが「共有の作業スペース」だとすれば、VRAMはGPUのすぐそばにある高速な作業机のようなものです。
生成AIでは大量の行列演算をGPUで行うため、計算に必要なデータをできるだけこのVRAMへ置きます。問題は、そのデータ量です。
LLMを動かすときには、まずモデルのパラメーターを保持する必要があります。さらに学習や追加学習では、
- 勾配
- Optimizerの状態
- 中間計算結果
なども必要になります。推論の場合でも、会話や長文を処理するとKVキャッシュが増えていきます。
つまり、モデルが大きくなるほど必要VRAMが増えるだけではなく、学習方法、入力する文章の長さ、同時利用者数によってもVRAM使用量が増えるということです。
「モデルが載る＝余裕で使える」ではない
たとえば、あるLLMのモデルデータが20GBだったとします。VRAM 24GBのGPUなら、「20GBだから載りますね！」と思ってしまいそうです。
ところが実際には、モデル以外にも処理用のメモリが必要です。特に学習では、モデル本体より大きなメモリ空間を必要とすることもあります。
ここで押さえておきたいのが「ファインチューニングとは何か」です。既存モデルを自社データなどで追加学習し、特定用途へ適応させる手法で、推論より多くのメモリを必要とする場合があります。
そのため、生成AI環境では単純なモデルサイズだけでなく、実際の処理全体でどれくらいメモリを使うのかを見る必要があります。
では、大容量VRAMのGPUを買えば解決？
もちろん、大容量VRAMを搭載したGPUを使うのは一つの方法です。ただし一般に、VRAM容量の大きなGPUほどシステムコストも上がります。さらに大型モデルになると、GPUを複数枚使う構成も必要になります。
そのため「LLM FT GPU必要台数」を考えるときは、モデルサイズだけでなく、学習方式や精度、シーケンス長まで含めて必要メモリを見積もる必要があります。GPUサーバー コスト比較でも、GPUの単価だけではなく、必要台数と周辺構成を含めた総額で見ることが大切です。
生成AIを試したいだけなのに、「まず大規模なGPUサーバーを用意してください」では、なかなか始めにくいですよね。そこで考え方を少し変えてみます。すべてのデータを、常にVRAMへ置いておく必要はあるのでしょうか？
GPUで今使うものだけVRAMへ
PCの世界では昔から、容量の小さな高速メモリと、大容量のストレージを組み合わせて使っています。生成AIでも同じように、
- 今GPUが計算しているデータ → VRAM
- 今すぐ必要ではないデータ → SSD
と役割分担することができれば、限られたVRAMをより効率よく利用できます。これがメモリオフロードという考え方です。
aiDAPTIV+も、この考え方を生成AIへ応用しています。aiDAPTIV+のようにSSDをメモリ階層へ組み込む方法は、GPUを増やす以外の選択肢を検討するときの一つの考え方です。
専用SSDをAI用の拡張領域として利用し、追加学習や推論で不足するVRAMを補完する仕組みです。社内の製品資料でも、専用SSDとミドルウェアによってVRAM不足を補完し、オンプレミス環境で大型AIモデルを扱うことを狙ったソリューションとして整理されています。
GPUだけでなく「メモリ階層」を考える
生成AI用PCを選ぶとき、「GPUは何ですか？」だけを見てしまいがちです。でも今後は、VRAM、システムメモリ、SSDをどう組み合わせてAIを動かすかという視点も重要になってきそうです。
速いけれど容量の小さなVRAM。比較的大容量のDRAM。さらに大容量化しやすいSSD。これらを適材適所で使うことで、これまで大規模GPU環境でなければ難しかったAI処理を、より身近なPCやワークステーションで実行できる可能性が広がります。
aiDAPTIVでは、AI PCからワークステーション、AIサーバーまで、GPUやモデル規模に応じた構成例が用意されています。たとえばRTX 5090＋32GB VRAMのAI PCでGPT-OSS-20Bクラス、より上位のGPU構成では70B～120Bクラスを想定した例もあります。
生成AIでは、GPUの演算性能だけでなく、「限られた高速メモリをどう使うか」も重要な性能設計の一部になっています。
クラウドに出せないデータで、自社専用AIをつくる。
Nextorageでは、機密情報や社内ナレッジなど、クラウドサービスに出せないデータを活用して、自社専用AIを構築するためのオンプレミスAIソリューション 「aiDAPTIV+（アイダプティブ・プラス）」 を展開しています。
生成AIを業務で活用したい一方で、
「社外サービスに機密情報を入力できない」
「GPUコストが高く、導入・運用のハードルが高い」
「日本語業務で十分な精度を出したい」
といった課題を感じている企業・組織の方は、ぜひ以下からお問い合わせください。