悩んでる人ローカルLLMって、結局何に使えるの？
情シス あおい結論から言うと、文章を書かせるだけでなく、外部サービスと繋いで動かし続けることもできます。
実際に何ができるのか、手を動かして確かめたい方に向けた記事です。
ただ、文章生成だけで判断すると、外部連携という可能性を見逃してしまいます。
それなら、実際に試した範囲を具体的に見ていくのが早道です。
今回は、実際にできたことと、手元の環境では難しかったことを紹介します。
- 文章生成だけでなく、Discordと連携させて動かし続けるBOTも作れること
- 会話ログをRAG化すると、過去のやり取りを参照した応答ができること
- gpt-oss 20Bのように、起動はできても実用に耐えないモデルがあること
実際にDiscordと連携させたBOTの話も、途中で紹介します。
先に、試した内容と結果を早見表にまとめました。
| 試したこと | 結果 |
|---|---|
| 文章の生成・要約 | 十分に実用的だった |
| Discordと連携したBOT運用 | 継続的に動かせた |
| 会話ログのRAG化 | 過去のやり取りを参照できた |
| gpt-oss 20Bの動作 | 起動はできたが重すぎた |
| クラウド最新モデルとの精度差 | 物足りなさを感じた |
答えだけ欲しい方は「ローカルLLMでできることを試す｜向いている用途の見極め方」に飛べます。
ローカルLLMでできること｜まず押さえておきたい基本
ローカルLLMは、手元の端末でも文章生成やコード補助など、幅広い作業をこなせます。クラウドと同じ技術を土台にしているため、基本的な使い方は大きく変わりません。
まず、どんな作業から試せるのかを確認します。
文章の生成・要約・下書き作成
文章の生成や要約は、ローカルLLMがもっとも得意とする作業のひとつです。実際に、ブログ記事の下書きを書かせてみたところ、十分に実用的な文章ができあがりました。
文体や長さの指定を細かく伝えるほど、仕上がりの精度も上がっていきます。
コード補助や定型作業の自動化
コードの下書きや定型文の作成も、ローカルLLMが担える作業です。公開されているモデルの多くは、プログラミング支援を想定して学習されています。
ただし、複雑な設計や大規模なコードベースの理解までは、モデルの性能に左右されます。
外部ツールと連携する土台になる
ローカルLLMの面白さは、文章生成やコード補助だけにとどまりません。
手元で動いているという特性を活かせば、他のアプリやサービスと組み合わせる土台としても使えます。ここからは、実際に外部サービスと連携させてみた内容を紹介します。
ローカルLLMでできること｜Discordと連携して動かし続けたBOT
ローカルLLMは、一度きりのやり取りで終わらず、外部サービスと組み合わせて動かし続けることもできます。
実際に、LM Studioで動かしたモデルをDiscordと連携させ、BOTとして使ってみました。
まず、どうやって連携させたのかを説明します。
今回は個人利用の範囲で試しましたが、部署やチームで共有する運用にも応用できる考え方です。
やりたいこと：Discord上で継続的に会話できるBOTを作りたい。
必要な機能：モデルを外部から呼び出す仕組みと、会話を保持する仕組み。
使ったツール：LM Studio（モデルの実行）とDiscord（会話の窓口）の組み合わせ。
LM StudioとDiscordをつないだ仕組み
2026年7月時点で、MacBook Air（M1・メモリ16GB）にLM Studioを入れ、モデルを動かしました。
この仕組みは、APIやローカルサーバーという名前で呼ばれ、他のツールでも共通して用意されています。
一度作れば動き続けるという発見
チャット画面で一問一答するだけでなく、Discord上で何度でも呼び出せる状態を作れました。
悩んでる人一度作ったら、ずっと使えるの？
情シス あおいはい。動かし続ける仕組みさえ作れば、あとは呼び出すだけで会話できます。
毎回ゼロから説明し直す必要がなくなり、使うたびの手間も減りました。この「作れば動き続ける」という感覚こそ、外部連携ならではの発見でした。
ただし、外部サービスと繋ぐ以上、認証情報や送信内容の管理には注意が必要です。
- 外部に送信する会話内容の範囲
- 認証情報（トークン）の管理方法
- ログを後から確認できる体制
ローカルLLMでできること｜会話ログをRAGにして過去を参照する仕組み
このBOTには、もうひとつ工夫を加えました。過去の会話ログを検索して参照させる、RAGという仕組みです。
まず、RAGがどんな仕組みかを整理します。
- 最新のやり取りを反映したい → RAG（今回はこちら）
- 出力の口調や傾向自体を変えたい → ファインチューニング
- 外部ツールを操作させたい → エージェント
RAGとファインチューニングの違い
今回のBOTは、会話ログをRAG化して参照する形で実現しました。モデルを学習し直したわけではありません。
最新のやり取りを都度反映させたかったため、学習し直すより検索して参照する仕組みを選びました。
親密度や口調が変わる体験
会話ログを参照させることで、親密度が変わったり、口調が変わったりする感覚を再現できました。過去の話を覚えているように見える工夫も、同じ仕組みで実現しています。
内部の判定方法までは詰めていませんが、体感としては会話を覚えているように感じられました。
悩んでる人それって、話し相手みたいな感じ？
情シス あおいはい、そういう使い方に近いです。ただ主役は、技術的な仕組みの方だと思っています。
会話を重ねるほど距離が近づいていくような、キャラクター性を持ったBOTに近い感覚です。
本格的にRAGの仕組みを一から構築する手順は、別の記事で詳しく扱う予定です。
ローカルLLMでできないこと｜重くて実用に耐えなかったモデル
できることばかりではありません。手元の環境では、起動はできても重くて実用に耐えなかったモデルもありました。
まず、実際に起動はしても重かったモデルから見ていきます。
gpt-oss 20Bは起動できても重いモデル
重さの原因が応答の遅さなのか、メモリ不足なのかまでは切り分けていません。速度や使用メモリの数値も計測していないため、あくまで体感としての印象です。
動くモデルと動かないモデルの分かれ目
一方で、Llama系やQwen系のモデルは動作しました。モデルのサイズが大きいほど、必要なメモリや処理能力も増えるため、動く・動かないの分かれ目が生まれます。
手元の端末で試す場合は、まず軽めのモデルから動かしてみるのが現実的です。
動かしたいモデルのファイルサイズは、公式の配布ページで事前に確認できます。メモリに余裕を持たせておくと、動作が安定しやすくなります。
今回はモデルの世代やパラメータ数の詳細までは確認していません。動作した・しなかったという体感の範囲でご理解ください。
ローカルLLMでできないこと｜クラウドの最新モデルとの性能差
性能そのものにも、まだ届いていない部分があります。クラウドの最新モデルと比べると、見劣りする場面がありました。
まず、具体的にどんな場面で感じたのかを説明します。
性能面で感じた物足りなさ
回答の精度や表現の幅は、クラウドの最新モデルと比べると物足りなさを感じる場面がありました。
性能差が生まれる背景
なぜこの差が生まれるのか、背景を詳しく知りたい方もいるでしょう。性能差の理由は、ローカルLLMとクラウドLLMの違いで詳しく整理しています。
今後モデルの性能が上がれば、この差も少しずつ縮まっていく可能性があります。ここでは、性能を待つより先に、何ができて何ができないかを知っておく方が実用的です。
ローカルLLMでできることを試す｜向いている用途の見極め方
ここまでの内容を踏まえると、向いている用途と、そうでない用途が見えてきます。
それぞれ、どんな人に向いているのでしょうか。
継続運用や機密性を重視する人
外部サービスと繋いで継続的に使いたい人や、機密情報を扱いたい人には、ローカルLLMが向いています。
個人で試すだけでなく、社内文書を扱う情シス担当者にとっても、外部に出さずに運用できる点は判断材料になるはずです。
Discordに限らず、他のチャットツールやアプリでも同じ考え方で連携できます。
動かせるモデルから試すのが近道です。迷ったら、ローカルLLMおすすめモデル比較を確認してください。
精度を最優先したい人
反対に、とにかく高い精度や最新の情報を優先したい人には、クラウドの方が向いています。
話題の出来事を調べたり、専門外の分野を幅広く下調べしたりする場面では、クラウドの方が満足度は高くなりやすいでしょう。
用途によって使い分ければ、どちらか一方に絞り込む必要はありません。白黒つけるより、まず試してみて、自分の用途に当てはまるかを確かめるのがおすすめです。
ローカルLLMでできること・できないことに関するよくある質問
ローカルLLMでできることに関するよくある質問をまとめました。気になる項目から確認してください。
- ローカルLLMは日本語の文章生成が得意ですか？
-
モデルによって得意・不得意が分かれます。日本語に強いとされるモデルを選ぶと、実用的な文章を作りやすくなります。
会話用途と文書作成用途でも、向いているモデルは変わってきます。
- ローカルLLMでキャラクター性のあるBOTは作れますか？
-
会話ログをRAGで参照させる仕組みを使えば、口調や応答の変化を再現できます。今回紹介したBOTも、この方法で実現しました。
- ローカルLLMにファインチューニング（学習）はできますか？
-
技術的には可能ですが、RAGとは別の手法です。最新のやり取りを反映したいだけなら、まずRAGを検討する方が現実的です。
- どんなモデルでも動きますか？
-
端末の性能に左右されます。gpt-oss 20Bのように、起動はできても重くて実用的ではなかったモデルもありました。
- ローカルLLMは商用利用できますか？
-
モデルによって異なります。同じ開発元でもライセンスが分かれている場合があるため、使う前に個別モデルのライセンスを必ず確認してください。
- Discord以外のツールと連携させることもできますか？
-
考え方は同じです。モデルを外部から呼び出す仕組みさえあれば、Slackなど他のチャットツールにも応用できます。
まとめ｜ローカルLLMでできること・できないことを正しく理解する
ローカルLLMでできること・できないことについて、ここまでの内容を整理すると次の通りです。
できること：文章生成に加え、外部サービスと連携した継続運用も可能です。
RAGの活用：会話ログをRAG化すれば、過去のやり取りを参照する仕組みも作れます。
できないこと：重いモデルは動かず、性能もクラウドの最新モデルには届きません。
向き不向き：継続運用や機密性を重視するならローカルLLM、精度優先ならクラウドが向いています。
できることの幅は、思っていたより広いと感じたのではないでしょうか。
文章を書かせるだけの道具ではなく、外部サービスと組み合わせて育てていけるのがローカルLLMの面白さです。
一方で、性能や動作環境には限界もあります。まずは軽めのモデルから、実際に試してみるのがおすすめです。
次に読む記事に迷ったら、以下を参考にしてください。
- ローカルLLMとは（カテゴリトップ）：用語や全体像をまとめて確認できます
- ローカルLLMとクラウドLLMの違い：性能差が生まれる理由を詳しく確認できます
- ローカルLLMおすすめモデル比較：実際に動かすモデル選びに使えます
参考資料
LM Studio 公式サイト
コメント