悩んでる人RTX 5090を買ったら、結局どのモデルまで動くの?
情シス あおい結論から言うと、30B級までは余裕があり、70B級は量子化を強めても余白がほとんど残りません。
32GBに収まるかどうかを分けるのは、動かしたいモデルの量子化レベルひとつです。
同じ70B級でも、量子化レベル次第でファイルサイズは7.7GB近く変わります。その差が、32GBに収まるかどうかを分けます。
だからこそ、判断材料にするのは、30B〜70Bクラスの実測ファイルサイズと32GBの境界という数字です。
今回は、RTX 5090(32GB VRAM)で30B〜70B級モデルがどこまで動くかを解説します。
- 30B〜32B級は32GBに余裕があること
- 70B級はQ3_K_Mが実質的な天井であること
- 32GBに収まらないモデルの実例
- モデルごとのライセンスの違い
根拠にしているのは、配布元の実測ファイルサイズとNVIDIA公式のスペック表だけです。
70Bクラスは32GBの壁｜Q3_K_MとQ4_K_Mを実測比較だけ読んでも意味は通じます。気になる方はどうぞ。
RTX 5090とローカルLLM｜実機なしで正直に整理
この記事は、RTX 5090の実機ではなく、NVIDIA公式のスペックと配布元の実測ファイルサイズをもとに整理しています。
本記事の立ち位置
「RTX 5090 ローカルLLM」で検索すると、実機で試した記事が数多く見つかるはずです。
一般に言われている体感の数字と、配布元で確認できる実測値には、差が出るケースも珍しくないのが実情です。
この記事では、モデル名・量子化・配布元・確認日をセットにした数字だけを載せます。
RTX 5090 ローカルLLM｜32GBという器の公式スペック
RTX 5090はVRAM32GB・GDDR7を搭載し、必要システム電源は1000Wです。
VRAM32GB・GDDR7・575Wの基本スペック
GeForce RTX 5090の公式製品ページで仕様を確認しました(2026年8月8日確認)。
- VRAM: 32GB(GDDR7)
- メモリインターフェース: 512-bit
- Total Graphics Power: 575W
- 必要システム電源: 1000W
メモリ帯域幅(GB/s)は、NVIDIA公式ページに項目自体が見当たりません。
独自計算で語る記事も見かけますが、本記事では公式未記載として数値を書いていません。
単体グラフィックカードの例として、以下のような商品があります。
※ 価格・情報は2026/9/5時点(楽天市場調べ)。変動する場合があります
必要システム電源1000Wと補助電源
必要システム電源は1000Wです(2026年8月8日確認)。
補助電源は、8ピン×4本か、600W対応の新型ケーブル1本のどちらかで接続します。
NVIDIA公式が名指しするツール
RTX 5090の製品ページには、AI on RTXという特設ページへの導線があります(2026年8月8日確認)。
そこではLM Studio・AnythingLLM・Ollamaなど、ローカルAIツールが名指しで紹介されています。
ただし、具体的なVRAM必要量やモデル名の一覧は掲載されていません。動作を保証する記載ではありません。
30B〜32Bクラスは実測で余裕あり｜Qwen3・DeepSeek・Gemma3
Qwen3 32B・DeepSeek-R1-Distill-Qwen-32B・Gemma 3 27B itは、Q4_K_Mで15〜19GiB台です。
実測サイズ一覧
| モデル | 量子化 | 実測サイズ | 32GBでの目安 |
|---|---|---|---|
| Qwen3 32B | Q4_K_M | 18.4GiB | 余裕あり |
| DeepSeek-R1-Distill-Qwen-32B | Q4_K_M | 18.49GiB | 余裕あり |
| Gemma 3 27B it | Q4_K_M | 15.41GiB | 余裕あり |
出典はHugging Face公式API(2026年8月8日確認)。3モデルとも32GBに13GB以上の余白があります。
実測値はGiB(2進数)表記、GPUのVRAM容量はGB(10進数)表記です。以降の差分計算もこの前提で読んでください。
20B以下は別記事で確認済み
20B以下のクラスは、VRAM容量別の早見表で動くモデルを確認できます。判断の考え方は必要スペックの記事で解説しています。
gpt-oss-20b(MXFP4量子化)は約11.28GiBで、32GBにはまだ大きな余裕があります(2026年8月1日確認)。
ライセンスはモデルごとに異なり、商用利用の可否も個別に変わります。
70Bクラスは32GBの壁｜Q3_K_MとQ4_K_Mを実測比較
70B級は量子化レベル次第で明暗が分かれ、Q3_K_M(31.91GiB)が32GBの実質的な天井です。
量子化レベル別ファイルサイズ
Llama 3.3 70B Instructの配布元で、量子化レベル別のファイルサイズを確認しました(2026年8月8日確認)。
| 量子化 | 実測サイズ | 32GBに対して |
|---|---|---|
| Q2_K | 24.56GiB | 収まる(精度劣化大) |
| IQ3_XXS | 25.58GiB | 収まる |
| Q3_K_S | 28.79GiB | 収まる(余白小) |
| IQ3_M | 29.74GiB | 収まる(余白僅少) |
| Q3_K_M | 31.91GiB | ファイルサイズだけでほぼ32GBに達する |
| Q3_K_L | 34.59GiB | 超える |
| Q4_K_M | 39.6GiB | 超える(約7.6GB超過) |
| f16(無圧縮) | 131.43GiB | 論外 |
DeepSeek-R1-Distill-Llama-70Bも、ほぼ同じパターンでした。
Llama-3.3-Swallow-70B-Instruct-v0.4も同様です(2026年8月8日確認)。
「Q4なら70Bも動く」を実測で確認
「Q4量子化なら70Bクラスも動く」という声もありますが、本記事が実測した条件では結果が異なりました。
配布元(Hugging Face公式API、2026年8月8日確認)で実測したところ、両モデルともQ4_K_Mは約39.6GiBでした。
32GBを7.6GB以上上回っており、ファイルサイズの時点で収まりません。
この実測はQ4_K_M・単一GPUという条件でのものです。量子化のバリアントやGPUオフロードの設定が違えば、結果は変わる可能性があります。
Q3_K_Mが天井、余白はほぼない
ファイルサイズだけで見ると、Q3_K_M(31.91GiB)が32GBに収まる実質的な天井です。
ただし、コンテキストキャッシュやOSが使う分の余白は、ほとんど残らないのが実情です。
実運用でどこまで安定するかは、実機なしのこの記事では検証できていません。
32GBに全く収まらない例
gpt-oss-120bは、MXFP4量子化でも約59.03GiBあります(2026年8月8日確認)。
OpenAI公式のREADMEも、単一80GBクラスのGPU(NVIDIA H100等)を想定すると明記しています。
RTX 5090(32GB)1枚では、この規模のモデルは対象外と考えるのが妥当です。
RTX 5090 ローカルLLM｜モデルごとのライセンスを確認する
RTX 5090上で動かす場合でも、ライセンスはモデルごとに異なり、ベンダー単位でまとめるのは困難です。
30B〜32B級のライセンス
| モデル | ライセンス | 商用利用 |
|---|---|---|
| Qwen3 32B | Apache 2.0 | 可 |
| DeepSeek-R1-Distill-Qwen-32B | MIT | 可 |
| Gemma 3 27B it | Gemma利用規約(独自) | 規約の条件下で可 |
Gemma 3はGemma利用規約という独自ライセンスで、Apache 2.0ではありません(2026年8月8日確認)。
70B級のライセンス
| モデル | ライセンス | 商用利用 |
|---|---|---|
| Llama 3.3 70B Instruct | Llama 3.3 Community License | 条件付きで可 |
| DeepSeek-R1-Distill-Llama-70B | MIT | 可 |
Llama 3.3 Community Licenseには、派生モデル名に「Llama」を含める表示義務があります(2026年8月8日確認)。
派生モデルを配布・提供する場合は、あわせて「Built with Llama」という表示も必要です(2026年8月8日確認)。
月間アクティブユーザーが7億人を超える事業者は、別途ライセンスが必要になる条項もあります。
Swallow 70Bの二重ライセンス
Llama-3.3-Swallow-70B-Instruct-v0.4は、日本語対応の70B級モデルです。
ライセンスはLlama 3.3 Community LicenseとGemma利用規約の二重で、両方の条件を満たす必要があります(2026年8月8日確認)。
買う前に確認したい条件｜RTX 5090が効くケース
RTX 5090が効くのは、70B級を量子化つきで手元に置きたい場合です。
当てはまるなら効く条件
次の条件に複数当てはまるなら、RTX 5090クラスのVRAM容量が生きてきます。
- 70B級を量子化つきで動かしたい
- 30B〜32B級を複数同時に動かしたい
- コンテキスト長を長めに確保したい
当てはまらないなら下位クラスで足りる
7Bや8Bクラスを試すだけの段階では、RTX 5090クラスのVRAMは明らかに過剰です。
おすすめモデルの選び方を確認してから、必要なVRAM量を先に決める順番をおすすめします。
先にモデルを一つ決めておけば、GPU選びで無駄な回り道をせずに済みます。
完成品として組み込まれている例として、以下のような商品もあります。
※ 価格・情報は2026/9/1時点(楽天市場調べ)。変動する場合があります
RTX 5090 ローカルLLMに関するよくある質問
RTX 5090とローカルLLMの組み合わせについて、よくある質問をまとめました。
- RTX 5090でLlama 3.3 70Bはそのまま動きますか?
-
Q4_K_Mで約39.6GiBあり、32GBには収まりません。
Q3_K_M(約31.91GiB)まで量子化すればファイルサイズは収まりますが、余白はほとんど残らない計算です。
- 32GBのVRAMがあれば、どんなモデルでも動きますか?
-
いいえ。gpt-oss-120bのように59GiB超のモデルは、RTX 5090 1枚には収まりません。
OpenAI公式も単一80GBクラスのGPUを想定すると明記しています。
- 20B以下のクラスはRTX 5090でも動きますか?
-
動きます。20B以下は32GBに対して大きな余裕があり、必要スペックは別記事で確認できます。
- 「Q4量子化なら70Bも動く」という情報を見ました。本当ですか?
-
一般にそう言われることもありますが、本記事の実測では結果が異なりました。
Q4_K_M・単一GPUの条件で実測すると約39.6GiBで、32GBを上回りました。
条件が違えば結果は変わる可能性があります。
- モデルのライセンスは全部同じですか?
-
いいえ、モデルごとに異なります。Apache 2.0・MIT・独自規約・二重ライセンスなど扱いが違うため、使う前に個別の確認が必要です。
まとめ｜RTX 5090で動くローカルLLMの範囲を実測整理
RTX 5090(32GB)で動かせる30B〜70Bクラスの範囲を、実測ファイルサイズで振り返ります。
30B〜32B級：Q4_K_Mで15〜19GiB台、32GBに余裕があります。
70B級の天井：Q3_K_M(31.91GiB)が実質的な上限で、余白はほぼありません。
32GBに収まらない例：gpt-oss-120b(約59.03GiB)は対象外です。
ライセンス：モデルごとに異なり、Swallow系は二重ライセンスです。
実機なしでも、配布元の実測とNVIDIA公式仕様を組み合わせれば、判断材料は十分作れます。
悩んでる人まずは自分の用途が30B止まりか、70Bまで欲しいかを整理してみます。
情シス あおいその線引きができれば、必要なVRAM容量はもう決まったようなものです。
用途別のモデル選びやVRAM要件は、以下の記事でも詳しく解説しています。
- ローカルLLM VRAM別早見表
- ローカルLLMおすすめモデル比較
- ローカルLLMに必要なスペック
- MacでローカルLLMを動かす方法
- ローカルLLMモデル比較(量子化の基礎)
- カテゴリ「ローカルLLMのスペック」一覧
コメント