ChatGPTやClaudeを毎日使っていると、ふと「これ、自分のパソコンの中だけで動かせないのかな」と思うことがあります。
調べてみると、できるんですね。しかも無料で。インターネットにつながっていなくても動きますし、入力した内容が外部に送信されることもありません。「ローカルLLM」と呼ばれている使い方です。
今回、ゲーム用に中古で買ったゲーミングノートPCで実際に試してみました。先に結論を書いておくと、環境づくり自体は1時間ほどで終わったものの、実用レベルには届きませんでした。
ただ、この記事で伝えたいのは、むしろそこに至るまでに私が踏んだ6つの失敗のほうです。どれも「知っていれば5秒で回避できたのに、知らなかったせいで30分溶かした」というものばかりだったので、これから試す人の時間の節約になればと思って書いていきます。
そもそも「ローカルで動かす」とは
まず前提の整理から。
普段使っているChatGPTやClaudeは、手元のパソコンでは何も計算していません。入力した文章はインターネット経由で企業のデータセンターに送られ、そこにある巨大なコンピューターが答えを作り、結果だけが画面に返ってきています。
ローカルLLMはその逆で、AIの本体（モデル）を自分のパソコンにダウンロードして、自分のパソコンに計算させます。当然、AIの賢さや速さは自分のパソコンの性能で頭打ちになります。
そして生成AIの場合、この性能を決めるのはCPUでもストレージでもなく、ほぼグラフィックボード（GPU）です。
なぜGPUなのか、なぜ「VRAM」なのか
AIの計算の中身は、大量の掛け算と足し算のひたすらの繰り返しです。この手の単純計算を一気に大量にこなすのがGPUの得意分野なので、ゲーミングPCがローカルLLM向きだと言われています。
GPUのスペックの中でも特に重要なのが VRAM（ブイラム） の容量です。VRAMはGPU専用のメモリで、AIのモデルは数GB〜数十GBの塊なので、これがVRAMに丸ごと載るかどうかで速度が大きく変わります。載りきらなかった分は通常のメモリ側で処理されるのですが、VRAMと通常のメモリではデータのやり取りの速さが6倍以上違うため、あふれた途端に一気に遅くなるわけです。
なので、ローカルLLMを試すときに最初に確認すべきは、自分のPCのVRAM容量です。
今回使ったパソコン
私が使ったのは、ドスパラのGALLERIA GR2060RGF-Tという2020年前後のゲーミングノートです。秋葉原で中古で10万円程度で購入しました。
↓後継機種と思われる2026年式のRL7C-R35-5Nが新品でありました。GPUとCPUの性能はほぼ同じと思われます。
（GALLERIA GR2060RGF-Tと同じものは中古で探すしかありません。）
- GPU：GeForce RTX 2060（VRAM 6GB） ← ここが最重要
- CPU：AMD Ryzen 7 4800H
- メモリ：16GB
- OS：Windows 11
VRAM 6GBは、今のローカルLLM界隈ではかなり控えめな部類です。ハイエンドのGPUだと24GBや32GBが当たり前になりつつあります。とはいえ、中古で買える現実的な価格帯だとこのあたりが標準的だと思うので、「まずは手持ちのPCで試したい」という人には近い条件になるはずです。
もうひとつ注意点として、RTX 2060は2019年発売の世代です。近年出てきた高速化の技術には、新しい世代のGPUでないと使えないものが結構あります。中古でGPUを選ぶときは、VRAMの容量だけでなく発売時期も見ておいたほうがいいです。
最近のハイエンドだと60万円くらいする。高い。。
何で動かすか：LM Studioにした理由
ローカルLLMを動かすためのソフトは、主に3つあります。
- Ollama（オラマ）：黒い画面（コマンド）で操作。導入が簡単で一番人気
- LM Studio（エルエムスタジオ）：普通のアプリのように画面で操作できる
- llama.cpp（ラマシーピーピー）：上記2つの土台になっている技術そのもの
初心者向けの記事ではOllamaが紹介されることが多く、私も最初はそのつもりでした。ところが、今回動かしたかったモデルがOllamaでは動きませんでした。ファイルの形式が対応しておらず、開発元の公式ドキュメントにも「このモデルはOllamaでは動かない」と書かれていたためです。
それでLM Studioを選んだのですが、結果的にはこれが正解でした。
理由のひとつは、設定をマウスで細かく調整できることです。VRAMが6GBしかない環境では、「モデルのどこまでをGPUに載せるか」を少しずつ変えながら限界を探る作業がどうしても必要になります。この試行錯誤をスライダーを動かすだけでできるのは楽でした。
もうひとつは、AIの内部設定を直接いじれることです。クラウドAIを使っているだけでは絶対に触れない部分が全部むき出しになっていて、これが思わぬ勉強になりました（記事の後半で書きます）。
どのモデルを選ぶか
今回は Qwen3.5（クウェン3.5） の9B（90億パラメータ）というモデルを使いました。中国のAlibabaが2026年3月に公開した、無料で商用利用もできるモデルです。
「9B」とか「量子化」って何？
モデルを選ぼうとすると、まずこの用語で戸惑うと思うので簡単に説明します。
B（ビリオン）はパラメータ数のことで、9Bならパラメータが90億個という意味です。多いほど賢くなりますが、その分ファイルが大きくなり、必要なVRAMも増えます。
量子化（りょうしか）は、モデルの中身を少ない情報量で表現し直してファイルを軽くする技術です。多少の劣化と引き換えに、サイズが大幅に減ります。
Qwen3.5-9Bの場合、圧縮なしだと19GB必要ですが、4bitという設定まで量子化すると6.5GBまで小さくなります。
で、私のVRAMは6GBです。6.5GBは、あとほんの少しのところで収まりません。この「あと0.5GB」に、この後ずっと苦しめられることになります。
実際の手順
ステップ1：LM Studioをダウンロードする
いきなり1つ目のつまずきポイントです。
公式サイトのトップページを開くと、「LM Studio Bionic」という別のアプリが大きく紹介されています。私はこれを何の疑いもなくダウンロードしてしまいました。Bionicは新しく出たAIエージェント向けのアプリで、今回やりたいこと（設定を細かく調整しながらモデルを動かす）には向いていません。設定画面に見慣れない項目ばかり並んでいて、しばらく混乱しました。
通常版は以下のURLから直接ダウンロードできます。トップページから辿ると間違えやすいので、こちらを開くのが確実です。
ステップ2：詳細設定をONにする
アプリを入れたら、モデルをダウンロードする前にこの設定をしておきます。
Settings（設定） → Developer → Developer Mode を ONこれをONにしないと、この後で必要になる調整項目が画面に出てきません。「開発者向け」という名前ですが、VRAM 6GBの環境では必須です。
ステップ3：モデルをダウンロードする
Ctrl + Shift + M で検索画面を開き、unsloth/qwen3.5-9b と入力します。
ここで2つ目のつまずきポイント。検索結果に、よく似た名前のものが4つ並びます。初見だと、どれを選べばいいのかまったく分かりません。
見分けるポイントは投稿者名です。一番上の「Qwen3.5-9B-GGUF」は投稿者が unsloth になっていて、これが本家。下の2つは DanyDA viperdf という別の人が再アップロードしたもので、品質の保証がありません。
迷ったら、ダウンロード数といいねの数を見てください。本家は96万ダウンロード、下の2つは146と280。桁が3〜4つ違うので、これだけでほぼ判別できます。
ダウンロードするファイルは Q4_K_S を選びました。先ほど書いた4bit量子化のバージョンです。
つまずき①：いきなりエラーで動かない
準備ができたのでロードボタンを押したところ、いきなりこれです。
「Engine protocol startup was aborted」。何を言われているのか分かりません。
調べてみると、これはモデルの問題ではなく、LM Studio側の新機能の不具合でした。「Engine Protocol」という試験段階の機能が原因で、公式のバグ報告にも「これを有効にすると何もロードできない」という報告が複数上がっていました。
解決方法は以下です。
Settings → Developer → "Enable LM Studio Engine Protocol" を OFFOFFにしてLM Studioを再起動すれば直ります。
ちなみに、この手の「読み込めません」系のエラーは、アプリ本体ではなくエンジン部分が原因のことが多いようです。Ctrl + Shift + R でエンジンの管理画面が開けるので、CUDA版が入っているか、最新になっているかも合わせて確認しておくといいと思います。
つまずき②：GPUがまったく使われていない
エラーは消えたものの、今度は動作が異常に遅い。設定画面を見て原因が分かりました。
「GPU Offload」が 0 になっています。
これは「モデルの処理のうち、どれだけをGPUに任せるか」という設定で、0ということは、GPUをまったく使わずすべてCPUで計算していたことになります。ゲーミングPCを使っている意味がありません。
なお、スライダーが0のまま動かせない場合は、LM StudioがGPUを認識できていない可能性があります。Ctrl + Shift + R でエンジン管理を開き、「CUDA」と書かれたものが入っているか確認してください。CPU用のものしか入っていないと、この項目は動きません。
つまずき③：会話の記憶が4分の1に減っていた
同じ画面に、もうひとつ問題がありました。
「Max Concurrent Predictions」が 4 になっています。
これは「同時に何件の会話を処理するか」という設定です。複数人で共有するサーバーなら意味がありますが、一人で使うなら不要です。
厄介なのは、この数字でAIの記憶容量が分割されることです。「Context Length（AIが一度に覚えていられる文章量）」を8192に設定していても、4で割られて実質2048。長めの文章を投げた瞬間に前半を忘れる、という状態になっていました。
一人で使うなら 1 に設定してください。
つまずき④：使わない機能が容量を食っていた
修正後の設定がこちらです。
これでようやく動きましたが、動作ログに気になる一行がありました。
loaded multimodal model, '.../mmproj-F32.gguf'実は今回のQwen3.5には、画像を見て理解する機能もあります。そのための追加ファイルが、頼んでもいないのに一緒に読み込まれていたのです。
私がやりたかったのは文章のやり取りだけ。なのに、この画像機能だけで1GB近くを消費していました。VRAMが6GBしかない中での1GBは大きすぎます。
そこで、この追加ファイルを別の場所に退避させました。作業としては、mmproj という名前のファイルをLM Studioの管理フォルダの外に移動させるだけです。
ローカルAIでは、こういう「使っていない機能が裏で容量を食っている」ことがあるので、動作ログは一度眺めてみることをおすすめします。
つまずき⑤：「こんにちは」の返事に68秒
今回いちばん驚いたのがこれです。
「こんにちは。」と入力しただけで、返事が来るまで68秒かかりました。
画面に出た返事はたった2行です。なのに、その裏でAIは627個ものトークンを消費していました。
原因は「Thinkingモード」がONになっていたことです。これは、AIが答える前に下書きのような思考を書き出す機能で、「この人は日本語で挨拶している。どのくらい丁寧に返すべきか…」といった考え事を延々と書いてから、最終的な返事を作ります。
難しい問題では正解率が上がる有効な機能です。ただ、挨拶に下書きは要りません。OFFにしたところ、返事はほぼ待ち時間なしで返ってくるようになりました。
これが一番の学びだった
白状すると、普段クラウドAIを使うとき、私は思考モードを何も考えずにONにしていました。「賢くなるならONでいいだろう」くらいの感覚です。
でも今回、自分のPCで動かしてみて、その機能がどれだけの計算資源を食っているのかが、数字と待ち時間ではっきり分かりました。クラウドだと一瞬で返ってくるので気づかないだけで、裏では相応の処理が走っていたわけです。これはローカルで動かさなければ実感できなかったと思います。
使い分けの目安としては、挨拶・翻訳・要約・文章の整形ならOFF、複雑な条件の突き合わせや矛盾を探すような作業ならON、という感じです。
つまずき⑥：初期設定がそのモデル向けではなかった
最後のつまずきです。LM Studioには、AIの応答の性質を決める設定項目が並んでいます。
問題は、初期値がどのモデルにも共通の汎用設定になっていることです。Qwen3.5の開発元が推奨している値とは、すべてズレていました。
特に注意が必要なのが 「Repeat Penalty（繰り返しペナルティ）」 です。同じ言葉の繰り返しを抑える設定なのですが、日本語だと「が」「を」「は」といった助詞や句読点まで抑制の対象になってしまい、長い文章を書かせると日本語が不自然に崩れます。Qwen3.5の公式ドキュメントにも「無効にすること」と明記されていました。初期値は1.1なので、チェックを外す必要があります。
他の項目も含めた推奨値は以下の通りです。使うモデルによって変わるので、そのモデルの公式ドキュメントを確認するのが確実です。
- Top K：20
- Top P：0.8
- Min P：無効
- Repeat Penalty：無効（重要）
- Presence Penalty：1.5
- Temperature：0.7
設定を変えたら、画面上部の「Save Preset As…」で保存するのを忘れずに。保存しないと、次回起動時に元に戻ります。
結果：ようやくまともに動いた
すべて直した状態で、AWSに関する質問を投げてみました。
毎秒約12文字ぶんの速度で、0.83秒後には書き始める。体感としては「読みながら待てる」レベルで、ここまでくれば会話として成立します。
内容も、S3というAWSのサービスについて正しい説明が返ってきました。
クラウドAIとどれくらい差があるのか
ざっくりした肌感ですが、知識を答える・文章を要約する・翻訳するといった作業なら、クラウドAIの9割くらいの水準まで来ています。日常的な用途なら十分実用的です。
一方で、プログラムを書く、複雑な問題を解くといった作業では、はっきりと差が開きます。
感覚としては、ChatGPTやClaudeの一番小さいモデル相当が、無料でオフラインで使えるようになる、というのが近いと思います。最上位モデルの代わりにはなりません。
それでも実用に至らなかった決め手：Web検索
「9割の水準なら十分では？」と思うかもしれません。それでも私が実用には届かないと判断した理由は、Web検索です。
LM Studioは設定次第で、ローカルのモデルにWeb検索をさせることもできます。設定自体は難しくありません。問題は時間です。
Web検索を1回すると、検索結果を読み込むだけで数千文字ぶんの処理が発生します。毎秒12文字の速度だと、それを読んで答えをまとめるまでに数分かかる計算です。複数のサイトを参照する調べものになると、待ち時間はさらに膨らみます。クラウドAIなら数十秒で終わることを考えると、ここは正直、遠く及びませんでした。
動かしてみて感じたこと
データセンターの規模が想像できるようになった
調べていくうちに分かったのですが、本当に実用的なレベルのモデルを快適に動かすには、数百万円規模のマシンが必要なようです。個人で用意するのは現実的ではありません。
GPU 64GBのRTX™ 5090搭載で約200万円。この価格帯がAmazonに売られているのがすごい。
裏を返せば、クラウドAIを支えている設備はそれだけ巨大だということです。しかも各社はそれを、世界中のユーザーからのリクエストを同時にさばく規模で動かしています。月額数千円で当たり前のように使っていますが、手元のPCが挨拶ひとつに68秒かけているのを見たあとだと、その裏側の大きさの見え方が少し変わりました。
AIの内部設定に触れられるのが面白い
私は生成AIの勉強を続けていて、Top-KやTemperatureといった設定項目の知識自体はありました。ただ、実際に値を変えて動きの違いを試したことはありませんでした。クラウドAIを使っているだけでは、こうした設定に触れる機会はまずありません。
LM Studioなら、これらを自由にいじれます。壊しても誰にも迷惑がかからない、自分専用の実験環境が手に入ると考えると、学習用としてはかなり価値があると感じました。「この数字を上げると出力がどう変わるのか」を体感しながら理解できるので、ここは今後じっくり試していくつもりです。
「実用にならなかった」経験にも意味があった
実用にならないという結論は、正直なところ最初からある程度予想していました。それでもやってよかったと思っています。
VRAMがなぜ重要なのか。量子化すると何が起きるのか。思考モードのコストはどれくらいか。記事で読んで知っているのと、自分の環境で数字として見るのとでは、理解の深さがまるで違いました。
まとめ：どんな人に向いているか
向いているのは、こんな人です。
- 生成AIの仕組みを、手を動かして理解したい人
- 外部に出せない情報をAIに扱わせたい人
- ネット環境がない場所でも使いたい人
- 課金を気にせず好きなだけ試したい人
逆に、こういう目的にはおすすめしません。
- 正確な調べものをしたい人（間違いが自然な文章に紛れ込みます）
- プログラミングの支援を期待する人
- クラウドAIの置き換えを探している人
一言でいうと、「文章を整える」には使えるけれど「事実を確かめる」には使えない、というのが今回の結論です。
実用性だけを求めるなら、素直にクラウドAIを使うべきです。ただ、「中で何が起きているのか知りたい」という動機があるなら、試す価値は十分にあります。これから挑戦する方は、この記事の6つのつまずきポイントだけ押さえておいてください。私が溶かした時間の大半は、節約できるはずです。
次はメモリを増設して、もう少し大きなモデルが動くか試してみるつもりです。結果はまた記事にします。
この記事がお役に立ちましたら、コーヒー1杯分（300円）の応援をいただけると嬉しいです。いただいた支援は、より良い記事作成のための時間確保や情報収集に活用させていただきます。
参考リンク
システムエンジニア
AWSを中心としたクラウド案件に携わっています。
IoTシステムのバックエンド開発、Datadogを用いた監視開発など経験があります。
IT資格マニアでいろいろ取得しています。
AWS認定：SCS, ANS, AIP, SAP, DOP, SAA, DVA, SOA, CLF
Azure認定：AZ-104, AZ-300
ITIL Foundation
Oracle Master Bronze (DBA)
Oracle Master Silver (SQL)
Oracle Java Silver SE
■略歴
理系の大学院を卒業
IT企業に就職
AWSのシステム導入のプロジェクトを担当
