ローカルLLMとは、自分のPCや社内のサーバーで動かす大規模言語モデル(LLM)のことです。
ChatGPTのようなサービスは、入力した文章を提供元のサーバーに送って答えを計算しますが、ローカルLLMはモデルのファイルを手元に置き、計算も手元の機材で行います。
入力した文章が機材の外に送られず、モデルをダウンロードした後はインターネットにつながなくても使えます。
始めやすいのは、無料で使えるオープンソースのツールのOllama(オラマ)です。
インストールしてターミナルに ollama run モデル名 と入力すると、モデルのダウンロードから対話までが始まります。
この記事では、クラウドのAIとの違い、動かすのに必要なメモリとGPUの目安、Ollamaのインストール、コマンド、API、コーディングのツールとの連携までの使い方、メモリに合わせたモデルの選び方をまとめています。
Ollamaの最新版(v0.40.16)を実際に動かして確かめたコマンドと出力も載せています。
ローカルLLMの仕組みと始め方を解説する動画を、NoLangで作った作例もあります。
ローカルLLMとは
LLM(大規模言語モデル)は、大量の文章で学習し、質問に答えたり文章を書いたりするAIのモデルです。
ChatGPT、Gemini、ClaudeもLLMを使ったサービスです。
ローカルLLMは、同じしくみのLLMを、提供元のサーバーではなく自分の機材で動かす使い方を指します。
ローカルLLMは、次の3つがそろえば動きます。
- モデル:学習を終えたLLMの中身(重み)のファイルです。GoogleのGemma、AlibabaのQwen、OpenAIのgpt-ossのように、重みを公開しているモデル(オープンウェイトのモデル)を使います。
- 実行ツール:モデルを読み込んで答えを計算するソフトです。Ollama、LM Studio、llama.cppなどがあります。
- 機材:モデルを載せるメモリと、計算するGPUかCPUです。モデルが大きいほど、多くのメモリが要ります。
クラウドのAIとの違い
ChatGPTのようなクラウドのAIと、ローカルLLMの違いをまとめます。
クラウドのAIとローカルLLMの違い
| 項目 | クラウドのAI | ローカルLLM |
|---|
| 計算する場所 | 提供元のサーバー | 自分のPC、社内のサーバー |
|---|
| 入力した文章 | 提供元に送られる | 機材の外に送られない |
|---|
| インターネット | 使うたびに要る | モデルをダウンロードした後は要らない |
|---|
| 費用 | 無料の範囲と、月額や利用量に応じた料金 | ソフトとモデルの多くは無料。機材と電気代はかかる |
|---|
| 使えるモデル | 提供元の大きなモデル | 手元のメモリに収まる大きさまで |
|---|
| 知識 | Webを検索して答えるサービスもある | モデルが学習した時点まで |
|---|
クラウドのAIは、手元の機材に関係なく大きなモデルを使え、登録すればすぐに始められます。
ローカルLLMは、外に出せない文章を扱えることと、使った量で料金がかからないことが強みです。
ChatGPTの始め方はChatGPTの使い方で、用途ごとのクラウドのAIの選び方は生成AIのおすすめと用途別のツール一覧で説明しています。
ローカルLLMでできること
ローカルLLMでも、クラウドのAIと同じように、質問への回答、文章の要約、書き換え、翻訳、プログラムコードの作成ができます。
手元で動かすことを生かした使い方には、次のようなものがあります。
- 議事録や社内の資料のように、社外のサービスに入力できない文章を要約する
- 自分で作ったアプリやツールから、APIでモデルを呼び出す
- Claude CodeやOpenCodeのようなコーディングのツールのモデルにする
- 画像を読めるモデルで、写真や図の内容を説明させる
- インターネットのない場所や、外につながない社内のネットワークで使う
一方で、手元に載る大きさのモデルは、クラウドの最も大きなモデルより小さいので、難しい作業では答えの質に差が出ることがあります。
最新のニュースのように、モデルが学習した後の出来事も答えられません。
使う前に、自分の作業でクラウドのAIと同じ頼み方をして、答えを比べると判断しやすくなります。
メリットとデメリット
ローカルLLMのメリットとデメリット
| 分け方 | 点 | 内容 |
|---|
| メリット | 情報が外に出ない | 入力した文章とファイルが、手元の機材の中で処理される |
|---|
| メリット | 使った量で料金がかからない | 何回使っても、モデルの利用料はかからない |
|---|
| メリット | オフラインで使える | モデルをダウンロードした後は、インターネットがなくても動く |
|---|
| メリット | モデルを選べる | 用途やメモリに合わせて、モデルを入れ替えられる |
|---|
| デメリット | 機材が要る | 大きなモデルほど、メモリの多いGPUやMacが要る |
|---|
| デメリット | 答えの質に限りがある | 手元に載るモデルは、クラウドの最も大きなモデルより小さい |
|---|
| デメリット | 知識が古くなる | 学習した後の出来事は、検索と組み合わせないと答えられない |
|---|
| デメリット | 管理は自分で行う | モデルの更新、ライセンスの確認、設定を自分で行う |
|---|
ローカルLLMに必要なスペック
決め手はメモリの量
動かせるモデルの大きさを決めるのは、主にメモリの量です。
GPUで動かすときはGPUのメモリ(VRAM)、AppleシリコンのMacではCPUとGPUが共有するユニファイドメモリに、モデル全体を載せて計算します。
モデル全体がGPUのメモリに載るかどうかで、答えが出る速さも大きく変わります。
Ollamaの公式ドキュメントでは、ファイルの大きさが約7.2GBのモデル(gemma4:e2b)に、8GBの空きのVRAM(Macではユニファイドメモリ)を推奨しています。
VRAMが足りないときは、PCのメモリ(RAM)を使って動かせますが、応答が遅くなることがあります。
Ollamaのgpt-ossのページも、ファイルが14GBのgpt-oss:20bは16GBのメモリで動くと説明しています。
目安は、モデルのファイルの大きさより数GB多い空きのメモリです。
モデルの大きさの見積もり方
モデルのファイルの大きさは、パラメータの数と、1つのパラメータを何ビットで持つかで決まります。
パラメータの数とファイルの大きさの目安
| 1つのパラメータ | 4B(40億)のモデル | 12Bのモデル | 27Bのモデル |
|---|
| 16ビット(2バイト) | 約8GB | 約24GB | 約54GB |
|---|
| 8ビット(1バイト) | 約4GB | 約12GB | 約27GB |
|---|
| 4ビット(0.5バイト) | 約2GB | 約6GB | 約14GB |
|---|
モデルの名前の「4b」「27b」は、パラメータの数(Bは10億)を表します。
パラメータのビット数を減らして持つことを量子化と言います。
量子化によってファイルが小さくなり、少ないメモリで動くようになります。
ただし、元の精度から下げるので、答えの質が少し落ちることがあります(llama.cppの説明)。
実際のファイルは、量子化の形式や、画像を読む部分を含むかどうかで、この計算より大きくなります。
この記事で動かしたqwen3.5:4bは、パラメータが4.2B、量子化の形式が4ビットのQ4_K_Mで、ファイルは3.3GBでした。
ほかに、一度に読ませる文章の長さ(context)もメモリを使います。
Ollamaは、VRAMが24GiBより少ないと4K(4,096)トークン、24〜48GiBでは32Kトークン、48GiB以上では256Kトークンを初期設定の長さにしています。
長い資料を読ませるときや、コーディングのツールで使うときはcontextを長くしますが、その分メモリが要ります。
メモリ別に動かせるモデルの目安
Ollamaのモデルのページに出ているファイルの大きさ(2026年11月16日に確認)から、空きのメモリごとに動かしやすいモデルを並べます。
空きのメモリ(VRAM、Macはユニファイドメモリ)と動かしやすいモデル
| 空きのメモリ | 動かしやすい大きさ | Ollamaのモデルの例(ファイルの大きさ) |
|---|
| 4GB | 4Bまで | qwen3.5:0.8b(1.2GB〜)、gemma3:1b(806MB)、qwen3:4b(2.5GB) |
|---|
| 8GB | 4B〜9B | qwen3.5:4b(3.3GB〜)、qwen3:8b(5.2GB)、qwen3.5:9b(6.6GB〜) |
|---|
| 16GB | 12B〜20B | gemma4:12b(7.7GB〜)、qwen3:14b(9.3GB)、gpt-oss:20b(14GB) |
|---|
| 24〜32GB | 27B〜35B | qwen3.5:27b(17GB〜)、gemma4:31b(19GB〜)、qwen3.6:35b(23GB) |
|---|
| 80GB以上 | 100B以上 | gpt-oss:120b(65GB)、qwen3.5:122b(81GB) |
|---|
「〜」の付いたものは、量子化の形式によって大きさが変わり、表には一番小さい形式の大きさを書いています。
Macのユニファイドメモリは、OSやほかのアプリと共有するため、表のメモリより少し多いと余裕を持って動かせます。
長いcontextで使うときも、表より多めのメモリが要ります。
GPUと、GPUのないPC
Ollamaは、次のGPUを使って計算を速くできます(Ollamaの公式のドキュメント)。
Ollamaが使えるGPU
| GPU | 条件 |
|---|
| NVIDIA | Compute Capability 5.0以上(GeForce RTX 50、40、30、20シリーズ、GTX 10シリーズなど)。ドライバーは550以上(Compute Capability 6.2以下は570以上) |
|---|
| AMD Radeon | ROCm v7のドライバーで、RX 7000シリーズなど。Vulkanで使えるRadeonもある |
|---|
| Apple | MシリーズのMac(Metal) |
|---|
GPUのないPCでも、CPUとPCのメモリで動きます。
ただし、GPUで動かすより遅くなるので、小さなモデルを試すところから始めます。
GPUを使わないLinuxのマシン(CPU 32コア)でqwen3.5:4bを動かしたところ、2文の答えが出るまでに約8秒かかりました。
これからPCを選ぶときは、LM Studioの推奨環境が目安になります。
Macは、Appleシリコンでメモリが16GB以上、Windowsは、メモリが16GB以上で、GPUのメモリ(VRAM)が4GB以上です。
もっと大きなモデルを動かしたいときは、VRAMの多いGPUか、ユニファイドメモリの多いMacを選びます。
スマホで動かすには
スマホで動くローカルLLMもあります。
Googleが公開しているアプリのGoogle AI Edge Galleryは、Android 12以上とiOS 17以上で動き、オープンなモデルをスマホの中だけで動かします。
公式の説明では、モデルの計算はすべて端末の中で行われます。
iPhoneでは、AppleのFoundation Modelsで、アプリの開発者が、端末の中で動く約30億パラメータのモデルを自分のアプリに組み込めます。
Apple Intelligenceに対応した端末で、iOS 26以上の機能です。
ローカルLLMを動かすツール
ローカルLLMを動かす主なツールを比べます。
ローカルLLMを動かす主なツール
| ツール | 操作 | 向く人 | 料金 |
|---|
| Ollama | コマンドとアプリ | 手早く始めたい人、APIで使いたい人 | 無料 |
|---|
| LM Studio | アプリの画面 | 画面の操作だけで試したい人 | 無料 |
|---|
| llama.cpp | コマンド | 細かく設定したい人 | 無料 |
|---|
| Open WebUI | ブラウザの画面 | Ollamaをチャットの画面で使いたい人 | 無料 |
|---|
この記事では、インストールしてすぐに使え、ほかのツールともつなぎやすいOllamaの使い方を、次の章で詳しく説明します。
LM Studio
LM Studioは、ローカルLLMを動かすためのデスクトップのアプリで、macOS、Windows、Linuxで使えます。
アプリの中でモデルを検索してダウンロードし、そのままチャットの画面で使えます。
画面は日本語にも切り替えられます。
2025年7月から、家庭でも仕事でも無料で使えるようになりました。
公式のシステム要件は、MacがAppleシリコン(M1以降)とmacOS 14以上、Windowsが、x64のPCではAVX2に対応したCPUです。
どちらもメモリは16GB以上を推奨し、WindowsではVRAMが4GB以上のGPUを推奨しています。
AppleシリコンのMacでは、Appleの機械学習の仕組みのMLXでも動かせます。
アプリからローカルのサーバーを起動すると、OpenAIと同じ形のAPIが http://localhost:1234/v1 で使えます。
llama.cpp
llama.cppは、LLMを動かすためのC/C++のプログラムで、MITライセンスのオープンソースです。
Ollamaも、中でllama.cppを使っています。
モデルのファイルにはGGUFという形式を使い、1.5ビットから8ビットまでの量子化に対応しています。
コマンドで細かな設定をしたい人や、自分のソフトに組み込みたい人に向いています。
Ollamaの使い方
Ollamaとは
Ollamaは、オープンなLLMを自分のPCで動かすためのツールです。
ソースコードはGitHub(github.com/ollama/ollama)で公開され、MITライセンスのオープンソースです。
macOS、Windows、Linuxに対応し、2026年11月9日に公開されたv0.40.16が最新版です(2026年11月16日に確認)。
Ollamaには、手元で動かすモデルのほかに、Ollamaのサーバーで動くクラウドのモデルもあります。
手元で動かすモデルは、何回使っても料金はかかりません。
インストールする
Ollamaのダウンロードのページ(ollama.com/download)で、使っているOSを選びます。
OSごとのOllamaのインストール方法
| OS | インストール方法 | 条件 |
|---|
| Windows | 「Download manually」からOllamaSetup.exeをダウンロードして開く。PowerShellのコマンドでも入れられる | Windows 10 22H2以上 |
|---|
| macOS | Ollama.dmgを開き、Ollamaのアプリをアプリケーションのフォルダに入れる | macOS 14 Sonoma以上 |
|---|
| Linux | ターミナルでインストールのコマンドを実行する | — |
|---|
WindowsのOllamaSetup.exeは、管理者の権限がなくても、自分のアカウントにインストールできます。
Windowsでは、インストールに4GB以上の空き容量が必要で、モデルを置くためにさらに数十GB〜数百GBが要ることがあります。
PowerShell(Windows)とターミナル(macOS、Linux)のインストールのコマンドは次のとおりです。
Windows(PowerShell)
irm https://ollama.com/install.ps1 | iex
macOS、Linux(ターミナル)
curl -fsSL https://ollama.com/install.sh | sh
インストールできたら、ターミナル(WindowsではPowerShellかコマンドプロンプト)でバージョンを確かめます。
$ ollama -v
ollama version is 0.40.16
モデルを動かす(ollama run)
ollama run の後にモデルの名前を書くと、モデルをダウンロードして、対話を始めます。
初めて使うモデルは、ダウンロードに時間がかかります。
$ ollama run qwen3.5:4b
>>> Send a message (/? for help)
>>> の後に質問を入力してEnterを押すと、答えが出ます。
対話の中では、次のコマンドを使えます。
対話の中で使うコマンド
| コマンド | 機能 |
|---|
| /? | 使えるコマンドを表示する |
|---|
| /show info | モデルの情報を表示する |
|---|
| /clear | それまでの会話を消す |
|---|
| /bye | 対話を終える |
|---|
| """ | 複数の行の質問を書き始める(もう一度 """ で閉じる) |
|---|
質問をコマンドの後ろに書くと、対話を始めずに1回だけ答えを出します。
--verbose を付けると、答えが出るまでの時間と速さも表示されます。
次は、この記事で実際に動かしたときの出力です(--think=false は、考える過程(thinking)を使わずに答えを出す指定です)。
$ ollama run qwen3.5:4b --verbose --think=false "ローカルLLMとは何か、2文で説明してください。"
ローカル LLM(Large Language Model)とは、クラウドや外部サーバーに接続することなく、ユーザーの専用ハードウェア上で独自に動作する大規模言語モデルです。この仕組みにより、データは通信中に漏洩せず、インターネットへの接続が不要となるため、プライバシー保護とオフラインでの利用が可能になります。
total duration: 7.871268452s
load duration: 2.039066742s
prompt eval count: 25 token(s)
prompt eval duration: 190.604ms
prompt eval rate: 131.16 tokens/s
eval count: 68 token(s)
eval duration: 5.640163s
eval rate: 12.06 tokens/s
eval rate は、1秒間に生成したトークン(文章を区切った単位)の数で、答えを生成する速さを表します。
同じモデルと質問で自分のPCの速さを測ると、ほかのモデルやPCと比べられます。
この値は、GPUを使わないLinuxのマシン(CPU 32コア)で測ったもので、使うPCやGPUによって変わります。
よく使うコマンド
Ollamaのよく使うコマンドです。
Ollamaのよく使うコマンド
| コマンド | 機能 |
|---|
| ollama run モデル名 | モデルを動かして対話する。なければダウンロードする |
|---|
| ollama pull モデル名 | モデルをダウンロードする |
|---|
| ollama list | ダウンロードしたモデルの一覧を表示する(ollama ls でもよい) |
|---|
| ollama ps | いまメモリに載っているモデルを表示する |
|---|
| ollama stop モデル名 | モデルをメモリから解放する |
|---|
| ollama rm モデル名 | モデルを消す |
|---|
| ollama show モデル名 | パラメータの数、contextの長さ、量子化の形式、ライセンスを表示する |
|---|
| ollama -v | Ollamaのバージョンを表示する |
|---|
| ollama launch | コーディングのツールなどとつなぐ |
|---|
| ollama signin | ollama.comにサインインする(クラウドのモデルを使うとき) |
|---|
| ollama serve | Ollamaのサーバーを起動する |
|---|
ollama list と ollama ps を実際に動かした出力です。
$ ollama list
NAME ID SIZE MODIFIED
qwen3.5:4b d8b0f5e9760c 3.3 GB 3 seconds ago
$ ollama ps
NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
qwen3.5:4b d8b0f5e9760c 3.1 GB 100% CPU 4096 llamacpp 4 minutes from now
ollama ps の PROCESSOR は、モデルをどこに載せたかを表します。
100% GPU ならモデル全体がGPUに載っていて、100% CPU ならPCのメモリだけで動いています。
CONTEXT は一度に読める長さ、UNTIL はメモリから解放するまでの時間で、Ollamaは使い終わったモデルを5分後にメモリから解放します。
モデルを探す(モデルの一覧)
Ollamaで使えるモデルは、Ollamaのサイトのモデルの一覧(ollama.com/library)で探せます。
モデルのタグの一覧(Qwen3.5ならollama.com/library/qwen3.5/tags)を開くと、タグごとにファイルの大きさ、contextの長さ、入力できるもの(文章、画像)が並んでいます。
モデルの名前は モデル名:タグ の形で、タグにパラメータの数や量子化の形式を書きます。
ollama run qwen3.5:4b なら、Qwen3.5の4Bのモデルを動かします。
タグを省いて ollama run qwen3.5 とすると、latest の付いたモデル(qwen3.5では9b)を動かします。
-mlx の付いたタグは、MacのMLXで動かす形式、:cloud の付いたものは、Ollamaのクラウドで動くモデルです。
アプリ(GUI)とOpen WebUI
コマンドを使わずに、画面で使うこともできます。
macOSとWindowsのOllamaには、デスクトップのアプリが付いています。
アプリでは、モデルを選んでダウンロードし、チャットの画面で対話できます。
テキストやPDFのファイルをドラッグして読ませたり、画像を読めるモデルに画像を渡したりもできます。
設定の画面のスライダーで、contextの長さも変えられます。
Linuxでは、Ollamaをコマンドで使います。
ブラウザのチャットの画面で使いたいときは、Open WebUIを使います。
Open WebUIは、自分のPCやサーバーで動かすAIのチャットのツールで、起動するとOllamaへの接続を自動で試みます。
Python(3.11か3.12)があれば、次のコマンドでインストールして起動し、ブラウザで http://localhost:8080 を開きます。
pip install open-webui
open-webui serve
Dockerで動かす方法と、macOS、Windows、Linuxのデスクトップのアプリもあります。
ライセンスは、Open WebUIの名前やロゴを変えないことを条件にした、独自のライセンスです。
APIで呼び出す
Ollamaは、起動している間、PCの中で http://localhost:11434 のAPIを受け付けます。
手元のAPIには、APIキーは要りません。
次は、実際に送ったリクエストと、返ってきた答えです(答えは一部を省いています)。
$ curl http://localhost:11434/api/chat -d '{
"model": "qwen3.5:4b",
"messages": [{"role": "user", "content": "日本の首都はどこですか?一言で答えてください。"}],
"stream": false,
"think": false
}'
{"model":"qwen3.5:4b","created_at":"2026-11-16T08:57:08.285432519Z","message":{"role":"assistant","content":"東京です。"},"done":true,"done_reason":"stop", ...}
OpenAIと同じ形のAPI(/v1/chat/completions)も使えます。
OllamaはOpenAIのAPIの主な機能に対応していて、OpenAIのAPIを使うアプリやライブラリは、接続先を http://localhost:11434/v1 に替えるとOllamaのモデルを使えます(APIキーの欄は空にせず、任意の文字列を入れます)。
$ curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "qwen3.5:4b", "messages": [{"role": "user", "content": "日本の首都はどこですか?一言で答えてください。"}]}'
{"id":"chatcmpl-757","object":"chat.completion", ... "choices":[{"index":0,"message":{"role":"assistant","content":"東京です。"},"finish_reason":"stop"}], ...}
ダウンロードしたモデルの一覧は http://localhost:11434/api/tags で取れます。
PythonとJavaScriptには、公式のライブラリ(pip install ollama、npm i ollama)もあります。
コーディングのツールとつなぐ(ollama launch)
ollama launch を使うと、Claude Code、OpenCode、Codex、VS Codeなどのコーディングのツールを、Ollamaのモデルで動かせます。
たとえばOpenCodeとつなぐときは、次のコマンドを実行します。
ollama launch opencode
OpenCodeが入っていなければ、インストールの案内が表示されます。
ollama launch だけを実行すると、つなぐツールとモデルをメニューから選べます。
コーディングのツールは長い文章を読むので、contextを64,000トークン以上にします。
VRAMが24GiBより少ないPCでは、初期設定の長さが4,096トークンなので、アプリの設定画面のスライダーで長くするか、次のようにサーバーを起動します。
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
contextを長くするとメモリを多く使うので、ollama ps で PROCESSOR が 100% GPU のままかを確かめます。
Ollamaのクラウドのモデル(Ollama Cloud)
Ollamaには、強いGPUがなくても大きなモデルを使えるように、Ollamaのサーバーで動かすクラウドのモデルもあります。
ollama signin でollama.comのアカウントにサインインし、ollama run gemma4:cloud のように :cloud の付いた名前で使います。
ダウンロードは要りませんが、入力した文章はOllamaのサーバーに送られます。
Ollamaは、クラウドのモデルに送った内容を保存せず、モデルの学習にも使わないと説明しています。
クラウドのモデルの料金は、次のとおりです(2026年11月16日に確認)。
Ollamaのクラウドのモデルの料金
| プラン | 料金 | 内容 |
|---|
| Pay as you go | 月額なし | 使ったトークンの分だけ払う |
|---|
| Pro | 月20ドル | 月60ドル分の利用枠 |
|---|
| Max | 月100ドル | 月300ドル分の利用枠 |
|---|
| Team(先行受付) | 月500ドル | 人数の上限なし、月1,000ドル分の利用枠 |
|---|
手元のモデルだけを使い、クラウドの機能を使わないようにするときは、環境変数の OLLAMA_NO_CLOUD=1 を設定します。
MacでMLXを使う
OllamaはAppleシリコンのMacで、Appleの機械学習の仕組みのMLXを使って動かせます。
2026年3月に先行版として発表され、Ollamaは、MLXを使うことでAppleシリコンのMacでの動作が大きく速くなったと説明しています。
2026年6月のOllamaのブログは、最新版のOllamaで ollama run gemma4:12b-mlx のように -mlx の付いたタグのモデルを動かす方法を紹介しています。
おすすめのモデル
Ollamaで使える主なモデルを、メモリの量で選べるように並べます。
ファイルの大きさは、Ollamaのモデルのページの表示です(2026年11月16日に確認)。
Ollamaで使える主なモデル
| モデル | 開発元 | 大きさ(ファイル) | 特徴 |
|---|
| Qwen3.5 | Alibaba | 0.8B〜122B(1.2GB〜81GB) | 文章と画像を読める。小さなものから選べる |
|---|
| Qwen3.6、Qwen3.8 | Alibaba | 27B、35B(18GB〜23GB) | コーディングとエージェントに向く |
|---|
| Gemma 4 | Google | E2B〜31B(4.6GB〜20GB) | 文章と画像を読める |
|---|
| gpt-oss | OpenAI | 20B、120B(14GB、65GB) | 考えて答える推論に向く |
|---|
| Llama 3.1、3.2、3.3 | Meta | 1B〜405B | Ollamaの一覧で人気の上位 |
|---|
最初の1つは、自分のPCのメモリに合う大きさから選びます。
8GBならqwen3.5:4b、16GBならgemma4:12bやgpt-oss:20b、24GB以上ならqwen3.5:27bのように、「メモリ別に動かせるモデルの目安」の表から選ぶと、すぐに試せます。
大きいモデルほどメモリを多く使い、答えが出るまでの時間も長くなります。
まず小さなモデルで試し、答えに満足できなければ大きなモデルに替えます。
Qwenは、系列ごとに用意された大きさが違います。
qwen3には8b(5.2GB)があり、27bはqwen3.5、qwen3.6、qwen3.8にあります。
日本語で使うモデル
多言語に対応したモデルは、日本語で質問して日本語で答えを受け取れます。
この記事で動かしたqwen3.5:4bも、日本語の質問に日本語で答えました。
国立情報学研究所のLLM-jp-4.1や、ELYZAのLlama-3-ELYZA-JP-8Bのように、日本の研究機関や会社が公開したモデルもあります。
これらはOllamaのモデルの一覧にはありませんが、Hugging FaceでGGUF形式のファイルが配布されているものは、Ollamaに取り込めます。
モデルのページに動かすときの条件が書かれていることがあるので、あわせて確かめます。
GGUFのファイルを取り込むときは、ファイルと同じフォルダにModelfileというテキストファイルを作り、FROM ファイルのパス と書いて、ollama create を実行します。
次は、ELYZAが公開しているGGUFのファイル(4.9GB)を取り込んだときの出力です。
$ cat Modelfile
FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf
$ ollama create elyza-jp-8b -f Modelfile
using autodetected template llama3-instruct
(中略)
success
$ ollama list
NAME ID SIZE MODIFIED
elyza-jp-8b:latest 8a507e011210 4.9 GB 26 seconds ago
qwen3.5:4b d8b0f5e9760c 3.3 GB 15 minutes ago
取り込んだ後は、ollama run elyza-jp-8b で動かせます。
日本語で質問すると、日本語で答えが返ってきます。
モデルを使う前に、モデルのページでライセンスを確かめます(Llama-3-ELYZA-JP-8BはMetaのLlama 3のライセンス、LLM-jp-4.1はApache 2.0です)。
作例:ローカルLLMを解説する動画
この記事で説明したローカルLLMの仕組みと始め方を、初めての人向けに約2分20秒で解説する動画を、NoLangで作りました。
動画は次の順に進みます。
- ChatGPTのようなAIを、ネットにつながずに自分のPCだけで動かせたら、と問いかけて、ローカルLLMを紹介する
- ローカルLLMとは:クラウドのAIとの違いと、「データが外に出ない」「ネットなしで動く」「使うたびの料金がかからない」という3つの利点。性能はPCのスペックしだいであること
- 仕組み:モデルと実行ソフトの2つで動くこと、次に来そうな言葉を予測して足すことのくり返しで文章を作ること、量子化で80億パラメータのモデルが約5GBになること、モデルの置き場所にはGPUのメモリかMacのユニファイドメモリが向くこと
- 始め方:「メモリを確かめる」「実行ソフト(LM StudioかOllama)を入れる」「モデルを選んで動かす」の3つのステップと、自作のアプリからAPIで呼び出せること
- まとめ:仕組みと始め方をおさらいし、小さなモデルから試すことと、商用で使うときにライセンスを確かめることを伝える
動画のメモリの目安(8GBなら4Bまで、16GBなら8Bまで)は、PCに積んだメモリ全体に対するものです。
OSやほかのアプリも同じメモリを使うため、空きのメモリで数えた「メモリ別に動かせるモデルの目安」の表より小さな値になっています。
「このテンプレートで動画を作る」から、同じ構成で、別のツールや技術の仕組みと始め方を解説する動画を作れます。
文章や資料から動画を作る方法は、AI動画の作り方で説明しています。
会社でローカルLLMを使うときに確かめること
会社でローカルLLMを使うときは、次のことを確かめます。
会社で使う前に確かめること
| 項目 | 確かめること |
|---|
| モデルのライセンス | Apache 2.0、MITのように商用で使えるか。独自のライセンスには利用の条件がある |
|---|
| モデルの入手元 | 開発元が公開したものか |
|---|
| クラウドの機能 | クラウドのモデルを使わないなら、OLLAMA_NO_CLOUD=1 で止める |
|---|
| 待ち受けのアドレス | Ollamaは初期設定では自分のPCの中(127.0.0.1)からの接続だけを受け付ける。OLLAMA_HOSTでほかのPCから接続できるようにするときは、接続できる端末を制限する |
|---|
| 社内の決まり | 顧客との契約や社内の規程で、AIに入力してよい情報の決まりがあるか |
|---|
モデルのライセンスは、Ollamaの ollama show モデル名 の License の欄や、モデルの公開元のページで確かめられます。
社内でローカルLLMや生成AIを使い始めるときは、使い方と入力してよい情報の決まりを、社員全員に同じ内容で伝える必要があります。
NoLangは、研修の資料(PowerPoint、PDF)から、ナレーションと字幕の入った説明の動画を作れます。
研修の動画の作り方は法人向けの研修動画のページで紹介しています。
導入の相談はお問い合わせから受け付けています。
資料をダウンロード