ローカルLLMとは?Ollamaの使い方と必要なPCスペック

この記事の要点

  1. ローカルLLMとは、自分のPCや社内のサーバーで動かす大規模言語モデル(LLM)のこと。Ollamaを入れると「ollama run モデル名」で動かせる。必要なスペックの決め手は、メモリ(GPUのVRAM、Macはユニファイドメモリ)の量。
  2. クラウドのAIとの違いは、計算する場所と入力の送り先。入力した文章が機材の外に出ず、モデルをダウンロードした後はオフラインで使えるが、使えるのは手元のメモリに収まる大きさのモデルまで。
  3. メモリの目安は、モデルのファイルの大きさより数GB多い空き。空きが8GBなら4B〜9B、16GBなら12B〜20B、24〜32GBなら27B〜35Bのモデルが動かしやすい。
  4. Ollamaは無料のオープンソース(MITライセンス)で、macOS、Windows、Linuxで使える。ollama list、ps、pull、rmなどのコマンド、localhost:11434のAPI、ollama launchでのコーディングのツールとの連携がある。
  5. 会社で使うときは、モデルのライセンス、クラウドの機能を止める設定、待ち受けのアドレス、社内の決まりを確かめる。
SHARE

ローカルLLMとは、自分のPCや社内のサーバーで動かす大規模言語モデル(LLM)のことです。 ChatGPTのようなサービスは、入力した文章を提供元のサーバーに送って答えを計算しますが、ローカルLLMはモデルのファイルを手元に置き、計算も手元の機材で行います。 入力した文章が機材の外に送られず、モデルをダウンロードした後はインターネットにつながなくても使えます。

始めやすいのは、無料で使えるオープンソースのツールのOllama(オラマ)です。 インストールしてターミナルに ollama run モデル名 と入力すると、モデルのダウンロードから対話までが始まります。

この記事では、クラウドのAIとの違い、動かすのに必要なメモリとGPUの目安、Ollamaのインストール、コマンド、API、コーディングのツールとの連携までの使い方、メモリに合わせたモデルの選び方をまとめています。 Ollamaの最新版(v0.40.16)を実際に動かして確かめたコマンドと出力も載せています。 ローカルLLMの仕組みと始め方を解説する動画を、NoLangで作った作例もあります。

ローカルLLMとは

LLM(大規模言語モデル)は、大量の文章で学習し、質問に答えたり文章を書いたりするAIのモデルです。 ChatGPT、Gemini、ClaudeもLLMを使ったサービスです。 ローカルLLMは、同じしくみのLLMを、提供元のサーバーではなく自分の機材で動かす使い方を指します。

ローカルLLMは、次の3つがそろえば動きます。

  • モデル:学習を終えたLLMの中身(重み)のファイルです。GoogleのGemma、AlibabaのQwen、OpenAIのgpt-ossのように、重みを公開しているモデル(オープンウェイトのモデル)を使います。
  • 実行ツール:モデルを読み込んで答えを計算するソフトです。Ollama、LM Studio、llama.cppなどがあります。
  • 機材:モデルを載せるメモリと、計算するGPUかCPUです。モデルが大きいほど、多くのメモリが要ります。

クラウドのAIとの違い

ChatGPTのようなクラウドのAIと、ローカルLLMの違いをまとめます。

クラウドのAIとローカルLLMの違い
項目クラウドのAIローカルLLM
計算する場所提供元のサーバー自分のPC、社内のサーバー
入力した文章提供元に送られる機材の外に送られない
インターネット使うたびに要るモデルをダウンロードした後は要らない
費用無料の範囲と、月額や利用量に応じた料金ソフトとモデルの多くは無料。機材と電気代はかかる
使えるモデル提供元の大きなモデル手元のメモリに収まる大きさまで
知識Webを検索して答えるサービスもあるモデルが学習した時点まで

クラウドのAIは、手元の機材に関係なく大きなモデルを使え、登録すればすぐに始められます。 ローカルLLMは、外に出せない文章を扱えることと、使った量で料金がかからないことが強みです。 ChatGPTの始め方はChatGPTの使い方で、用途ごとのクラウドのAIの選び方は生成AIのおすすめと用途別のツール一覧で説明しています。

ローカルLLMでできること

ローカルLLMでも、クラウドのAIと同じように、質問への回答、文章の要約、書き換え、翻訳、プログラムコードの作成ができます。 手元で動かすことを生かした使い方には、次のようなものがあります。

  • 議事録や社内の資料のように、社外のサービスに入力できない文章を要約する
  • 自分で作ったアプリやツールから、APIでモデルを呼び出す
  • Claude CodeやOpenCodeのようなコーディングのツールのモデルにする
  • 画像を読めるモデルで、写真や図の内容を説明させる
  • インターネットのない場所や、外につながない社内のネットワークで使う

一方で、手元に載る大きさのモデルは、クラウドの最も大きなモデルより小さいので、難しい作業では答えの質に差が出ることがあります。 最新のニュースのように、モデルが学習した後の出来事も答えられません。 使う前に、自分の作業でクラウドのAIと同じ頼み方をして、答えを比べると判断しやすくなります。

メリットとデメリット

ローカルLLMのメリットとデメリット
分け方点内容
メリット情報が外に出ない入力した文章とファイルが、手元の機材の中で処理される
メリット使った量で料金がかからない何回使っても、モデルの利用料はかからない
メリットオフラインで使えるモデルをダウンロードした後は、インターネットがなくても動く
メリットモデルを選べる用途やメモリに合わせて、モデルを入れ替えられる
デメリット機材が要る大きなモデルほど、メモリの多いGPUやMacが要る
デメリット答えの質に限りがある手元に載るモデルは、クラウドの最も大きなモデルより小さい
デメリット知識が古くなる学習した後の出来事は、検索と組み合わせないと答えられない
デメリット管理は自分で行うモデルの更新、ライセンスの確認、設定を自分で行う

ローカルLLMに必要なスペック

決め手はメモリの量

動かせるモデルの大きさを決めるのは、主にメモリの量です。 GPUで動かすときはGPUのメモリ(VRAM)、AppleシリコンのMacではCPUとGPUが共有するユニファイドメモリに、モデル全体を載せて計算します。 モデル全体がGPUのメモリに載るかどうかで、答えが出る速さも大きく変わります。

Ollamaの公式ドキュメントでは、ファイルの大きさが約7.2GBのモデル(gemma4:e2b)に、8GBの空きのVRAM(Macではユニファイドメモリ)を推奨しています。 VRAMが足りないときは、PCのメモリ(RAM)を使って動かせますが、応答が遅くなることがあります。 Ollamaのgpt-ossのページも、ファイルが14GBのgpt-oss:20bは16GBのメモリで動くと説明しています。 目安は、モデルのファイルの大きさより数GB多い空きのメモリです。

モデルの大きさの見積もり方

モデルのファイルの大きさは、パラメータの数と、1つのパラメータを何ビットで持つかで決まります。

パラメータの数とファイルの大きさの目安
1つのパラメータ4B(40億)のモデル12Bのモデル27Bのモデル
16ビット(2バイト)約8GB約24GB約54GB
8ビット(1バイト)約4GB約12GB約27GB
4ビット(0.5バイト)約2GB約6GB約14GB

モデルの名前の「4b」「27b」は、パラメータの数(Bは10億)を表します。 パラメータのビット数を減らして持つことを量子化と言います。 量子化によってファイルが小さくなり、少ないメモリで動くようになります。 ただし、元の精度から下げるので、答えの質が少し落ちることがあります(llama.cppの説明)。

実際のファイルは、量子化の形式や、画像を読む部分を含むかどうかで、この計算より大きくなります。 この記事で動かしたqwen3.5:4bは、パラメータが4.2B、量子化の形式が4ビットのQ4_K_Mで、ファイルは3.3GBでした。

ほかに、一度に読ませる文章の長さ(context)もメモリを使います。 Ollamaは、VRAMが24GiBより少ないと4K(4,096)トークン、24〜48GiBでは32Kトークン、48GiB以上では256Kトークンを初期設定の長さにしています。 長い資料を読ませるときや、コーディングのツールで使うときはcontextを長くしますが、その分メモリが要ります。

メモリ別に動かせるモデルの目安

Ollamaのモデルのページに出ているファイルの大きさ(2026年11月16日に確認)から、空きのメモリごとに動かしやすいモデルを並べます。

空きのメモリ(VRAM、Macはユニファイドメモリ)と動かしやすいモデル
空きのメモリ動かしやすい大きさOllamaのモデルの例(ファイルの大きさ)
4GB4Bまでqwen3.5:0.8b(1.2GB〜)、gemma3:1b(806MB)、qwen3:4b(2.5GB)
8GB4B〜9Bqwen3.5:4b(3.3GB〜)、qwen3:8b(5.2GB)、qwen3.5:9b(6.6GB〜)
16GB12B〜20Bgemma4:12b(7.7GB〜)、qwen3:14b(9.3GB)、gpt-oss:20b(14GB)
24〜32GB27B〜35Bqwen3.5:27b(17GB〜)、gemma4:31b(19GB〜)、qwen3.6:35b(23GB)
80GB以上100B以上gpt-oss:120b(65GB)、qwen3.5:122b(81GB)

「〜」の付いたものは、量子化の形式によって大きさが変わり、表には一番小さい形式の大きさを書いています。 Macのユニファイドメモリは、OSやほかのアプリと共有するため、表のメモリより少し多いと余裕を持って動かせます。 長いcontextで使うときも、表より多めのメモリが要ります。

GPUと、GPUのないPC

Ollamaは、次のGPUを使って計算を速くできます(Ollamaの公式のドキュメント)。

Ollamaが使えるGPU
GPU条件
NVIDIACompute Capability 5.0以上(GeForce RTX 50、40、30、20シリーズ、GTX 10シリーズなど)。ドライバーは550以上(Compute Capability 6.2以下は570以上)
AMD RadeonROCm v7のドライバーで、RX 7000シリーズなど。Vulkanで使えるRadeonもある
AppleMシリーズのMac(Metal)

GPUのないPCでも、CPUとPCのメモリで動きます。 ただし、GPUで動かすより遅くなるので、小さなモデルを試すところから始めます。 GPUを使わないLinuxのマシン(CPU 32コア)でqwen3.5:4bを動かしたところ、2文の答えが出るまでに約8秒かかりました。

これからPCを選ぶときは、LM Studioの推奨環境が目安になります。 Macは、Appleシリコンでメモリが16GB以上、Windowsは、メモリが16GB以上で、GPUのメモリ(VRAM)が4GB以上です。 もっと大きなモデルを動かしたいときは、VRAMの多いGPUか、ユニファイドメモリの多いMacを選びます。

スマホで動かすには

スマホで動くローカルLLMもあります。 Googleが公開しているアプリのGoogle AI Edge Galleryは、Android 12以上とiOS 17以上で動き、オープンなモデルをスマホの中だけで動かします。 公式の説明では、モデルの計算はすべて端末の中で行われます。

iPhoneでは、AppleのFoundation Modelsで、アプリの開発者が、端末の中で動く約30億パラメータのモデルを自分のアプリに組み込めます。 Apple Intelligenceに対応した端末で、iOS 26以上の機能です。

ローカルLLMを動かすツール

ローカルLLMを動かす主なツールを比べます。

ローカルLLMを動かす主なツール
ツール操作向く人料金
Ollamaコマンドとアプリ手早く始めたい人、APIで使いたい人無料
LM Studioアプリの画面画面の操作だけで試したい人無料
llama.cppコマンド細かく設定したい人無料
Open WebUIブラウザの画面Ollamaをチャットの画面で使いたい人無料

この記事では、インストールしてすぐに使え、ほかのツールともつなぎやすいOllamaの使い方を、次の章で詳しく説明します。

LM Studio

LM Studioは、ローカルLLMを動かすためのデスクトップのアプリで、macOS、Windows、Linuxで使えます。 アプリの中でモデルを検索してダウンロードし、そのままチャットの画面で使えます。 画面は日本語にも切り替えられます。 2025年7月から、家庭でも仕事でも無料で使えるようになりました。

公式のシステム要件は、MacがAppleシリコン(M1以降)とmacOS 14以上、Windowsが、x64のPCではAVX2に対応したCPUです。 どちらもメモリは16GB以上を推奨し、WindowsではVRAMが4GB以上のGPUを推奨しています。 AppleシリコンのMacでは、Appleの機械学習の仕組みのMLXでも動かせます。 アプリからローカルのサーバーを起動すると、OpenAIと同じ形のAPIが http://localhost:1234/v1 で使えます。

llama.cpp

llama.cppは、LLMを動かすためのC/C++のプログラムで、MITライセンスのオープンソースです。 Ollamaも、中でllama.cppを使っています。 モデルのファイルにはGGUFという形式を使い、1.5ビットから8ビットまでの量子化に対応しています。 コマンドで細かな設定をしたい人や、自分のソフトに組み込みたい人に向いています。

Ollamaの使い方

Ollamaとは

Ollamaは、オープンなLLMを自分のPCで動かすためのツールです。 ソースコードはGitHub(github.com/ollama/ollama)で公開され、MITライセンスのオープンソースです。 macOS、Windows、Linuxに対応し、2026年11月9日に公開されたv0.40.16が最新版です(2026年11月16日に確認)。

Ollamaには、手元で動かすモデルのほかに、Ollamaのサーバーで動くクラウドのモデルもあります。 手元で動かすモデルは、何回使っても料金はかかりません。

インストールする

Ollamaのダウンロードのページ(ollama.com/download)で、使っているOSを選びます。

Ollamaのダウンロードのページで、Windowsのタブを選び、PowerShellのインストールのコマンドと「Download manually」のリンクを赤枠で示した画面
OSごとのOllamaのインストール方法
OSインストール方法条件
Windows「Download manually」からOllamaSetup.exeをダウンロードして開く。PowerShellのコマンドでも入れられるWindows 10 22H2以上
macOSOllama.dmgを開き、Ollamaのアプリをアプリケーションのフォルダに入れるmacOS 14 Sonoma以上
Linuxターミナルでインストールのコマンドを実行する—

WindowsのOllamaSetup.exeは、管理者の権限がなくても、自分のアカウントにインストールできます。 Windowsでは、インストールに4GB以上の空き容量が必要で、モデルを置くためにさらに数十GB〜数百GBが要ることがあります。

PowerShell(Windows)とターミナル(macOS、Linux)のインストールのコマンドは次のとおりです。

Windows(PowerShell)
irm https://ollama.com/install.ps1 | iex

macOS、Linux(ターミナル)
curl -fsSL https://ollama.com/install.sh | sh

インストールできたら、ターミナル(WindowsではPowerShellかコマンドプロンプト)でバージョンを確かめます。

$ ollama -v
ollama version is 0.40.16

モデルを動かす(ollama run)

ollama run の後にモデルの名前を書くと、モデルをダウンロードして、対話を始めます。 初めて使うモデルは、ダウンロードに時間がかかります。

$ ollama run qwen3.5:4b
>>> Send a message (/? for help)

>>> の後に質問を入力してEnterを押すと、答えが出ます。 対話の中では、次のコマンドを使えます。

対話の中で使うコマンド
コマンド機能
/?使えるコマンドを表示する
/show infoモデルの情報を表示する
/clearそれまでの会話を消す
/bye対話を終える
"""複数の行の質問を書き始める(もう一度 """ で閉じる)

質問をコマンドの後ろに書くと、対話を始めずに1回だけ答えを出します。 --verbose を付けると、答えが出るまでの時間と速さも表示されます。 次は、この記事で実際に動かしたときの出力です(--think=false は、考える過程(thinking)を使わずに答えを出す指定です)。

$ ollama run qwen3.5:4b --verbose --think=false "ローカルLLMとは何か、2文で説明してください。"
ローカル LLM(Large Language Model)とは、クラウドや外部サーバーに接続することなく、ユーザーの専用ハードウェア上で独自に動作する大規模言語モデルです。この仕組みにより、データは通信中に漏洩せず、インターネットへの接続が不要となるため、プライバシー保護とオフラインでの利用が可能になります。
total duration:       7.871268452s
load duration:        2.039066742s
prompt eval count:    25 token(s)
prompt eval duration: 190.604ms
prompt eval rate:     131.16 tokens/s
eval count:           68 token(s)
eval duration:        5.640163s
eval rate:            12.06 tokens/s

eval rate は、1秒間に生成したトークン(文章を区切った単位)の数で、答えを生成する速さを表します。 同じモデルと質問で自分のPCの速さを測ると、ほかのモデルやPCと比べられます。 この値は、GPUを使わないLinuxのマシン(CPU 32コア)で測ったもので、使うPCやGPUによって変わります。

よく使うコマンド

Ollamaのよく使うコマンドです。

Ollamaのよく使うコマンド
コマンド機能
ollama run モデル名モデルを動かして対話する。なければダウンロードする
ollama pull モデル名モデルをダウンロードする
ollama listダウンロードしたモデルの一覧を表示する(ollama ls でもよい)
ollama psいまメモリに載っているモデルを表示する
ollama stop モデル名モデルをメモリから解放する
ollama rm モデル名モデルを消す
ollama show モデル名パラメータの数、contextの長さ、量子化の形式、ライセンスを表示する
ollama -vOllamaのバージョンを表示する
ollama launchコーディングのツールなどとつなぐ
ollama signinollama.comにサインインする(クラウドのモデルを使うとき)
ollama serveOllamaのサーバーを起動する

ollama list と ollama ps を実際に動かした出力です。

$ ollama list
NAME          ID              SIZE      MODIFIED
qwen3.5:4b    d8b0f5e9760c    3.3 GB    3 seconds ago

$ ollama ps
NAME          ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL
qwen3.5:4b    d8b0f5e9760c    3.1 GB    100% CPU     4096       llamacpp    4 minutes from now

ollama ps の PROCESSOR は、モデルをどこに載せたかを表します。 100% GPU ならモデル全体がGPUに載っていて、100% CPU ならPCのメモリだけで動いています。 CONTEXT は一度に読める長さ、UNTIL はメモリから解放するまでの時間で、Ollamaは使い終わったモデルを5分後にメモリから解放します。

モデルを探す(モデルの一覧)

Ollamaで使えるモデルは、Ollamaのサイトのモデルの一覧(ollama.com/library)で探せます。 モデルのタグの一覧(Qwen3.5ならollama.com/library/qwen3.5/tags)を開くと、タグごとにファイルの大きさ、contextの長さ、入力できるもの(文章、画像)が並んでいます。

Ollamaのqwen3.5のタグの一覧で、qwen3.5:4bと、latestの付いたqwen3.5:9bの行のファイルの大きさ、context、入力を赤枠で示した画面

モデルの名前は モデル名:タグ の形で、タグにパラメータの数や量子化の形式を書きます。 ollama run qwen3.5:4b なら、Qwen3.5の4Bのモデルを動かします。 タグを省いて ollama run qwen3.5 とすると、latest の付いたモデル(qwen3.5では9b)を動かします。 -mlx の付いたタグは、MacのMLXで動かす形式、:cloud の付いたものは、Ollamaのクラウドで動くモデルです。

アプリ(GUI)とOpen WebUI

コマンドを使わずに、画面で使うこともできます。

macOSとWindowsのOllamaには、デスクトップのアプリが付いています。 アプリでは、モデルを選んでダウンロードし、チャットの画面で対話できます。 テキストやPDFのファイルをドラッグして読ませたり、画像を読めるモデルに画像を渡したりもできます。 設定の画面のスライダーで、contextの長さも変えられます。 Linuxでは、Ollamaをコマンドで使います。

ブラウザのチャットの画面で使いたいときは、Open WebUIを使います。 Open WebUIは、自分のPCやサーバーで動かすAIのチャットのツールで、起動するとOllamaへの接続を自動で試みます。 Python(3.11か3.12)があれば、次のコマンドでインストールして起動し、ブラウザで http://localhost:8080 を開きます。

pip install open-webui
open-webui serve

Dockerで動かす方法と、macOS、Windows、Linuxのデスクトップのアプリもあります。 ライセンスは、Open WebUIの名前やロゴを変えないことを条件にした、独自のライセンスです。

APIで呼び出す

Ollamaは、起動している間、PCの中で http://localhost:11434 のAPIを受け付けます。 手元のAPIには、APIキーは要りません。 次は、実際に送ったリクエストと、返ってきた答えです(答えは一部を省いています)。

$ curl http://localhost:11434/api/chat -d '{
  "model": "qwen3.5:4b",
  "messages": [{"role": "user", "content": "日本の首都はどこですか?一言で答えてください。"}],
  "stream": false,
  "think": false
}'

{"model":"qwen3.5:4b","created_at":"2026-11-16T08:57:08.285432519Z","message":{"role":"assistant","content":"東京です。"},"done":true,"done_reason":"stop", ...}

OpenAIと同じ形のAPI(/v1/chat/completions)も使えます。 OllamaはOpenAIのAPIの主な機能に対応していて、OpenAIのAPIを使うアプリやライブラリは、接続先を http://localhost:11434/v1 に替えるとOllamaのモデルを使えます(APIキーの欄は空にせず、任意の文字列を入れます)。

$ curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3.5:4b", "messages": [{"role": "user", "content": "日本の首都はどこですか?一言で答えてください。"}]}'

{"id":"chatcmpl-757","object":"chat.completion", ... "choices":[{"index":0,"message":{"role":"assistant","content":"東京です。"},"finish_reason":"stop"}], ...}

ダウンロードしたモデルの一覧は http://localhost:11434/api/tags で取れます。 PythonとJavaScriptには、公式のライブラリ(pip install ollama、npm i ollama)もあります。

コーディングのツールとつなぐ(ollama launch)

ollama launch を使うと、Claude Code、OpenCode、Codex、VS Codeなどのコーディングのツールを、Ollamaのモデルで動かせます。 たとえばOpenCodeとつなぐときは、次のコマンドを実行します。

ollama launch opencode

OpenCodeが入っていなければ、インストールの案内が表示されます。 ollama launch だけを実行すると、つなぐツールとモデルをメニューから選べます。

コーディングのツールは長い文章を読むので、contextを64,000トークン以上にします。 VRAMが24GiBより少ないPCでは、初期設定の長さが4,096トークンなので、アプリの設定画面のスライダーで長くするか、次のようにサーバーを起動します。

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

contextを長くするとメモリを多く使うので、ollama ps で PROCESSOR が 100% GPU のままかを確かめます。

Ollamaのクラウドのモデル(Ollama Cloud)

Ollamaには、強いGPUがなくても大きなモデルを使えるように、Ollamaのサーバーで動かすクラウドのモデルもあります。 ollama signin でollama.comのアカウントにサインインし、ollama run gemma4:cloud のように :cloud の付いた名前で使います。 ダウンロードは要りませんが、入力した文章はOllamaのサーバーに送られます。 Ollamaは、クラウドのモデルに送った内容を保存せず、モデルの学習にも使わないと説明しています。

クラウドのモデルの料金は、次のとおりです(2026年11月16日に確認)。

Ollamaのクラウドのモデルの料金
プラン料金内容
Pay as you go月額なし使ったトークンの分だけ払う
Pro月20ドル月60ドル分の利用枠
Max月100ドル月300ドル分の利用枠
Team(先行受付)月500ドル人数の上限なし、月1,000ドル分の利用枠

手元のモデルだけを使い、クラウドの機能を使わないようにするときは、環境変数の OLLAMA_NO_CLOUD=1 を設定します。

MacでMLXを使う

OllamaはAppleシリコンのMacで、Appleの機械学習の仕組みのMLXを使って動かせます。 2026年3月に先行版として発表され、Ollamaは、MLXを使うことでAppleシリコンのMacでの動作が大きく速くなったと説明しています。 2026年6月のOllamaのブログは、最新版のOllamaで ollama run gemma4:12b-mlx のように -mlx の付いたタグのモデルを動かす方法を紹介しています。

おすすめのモデル

Ollamaで使える主なモデルを、メモリの量で選べるように並べます。 ファイルの大きさは、Ollamaのモデルのページの表示です(2026年11月16日に確認)。

Ollamaで使える主なモデル
モデル開発元大きさ(ファイル)特徴
Qwen3.5Alibaba0.8B〜122B(1.2GB〜81GB)文章と画像を読める。小さなものから選べる
Qwen3.6、Qwen3.8Alibaba27B、35B(18GB〜23GB)コーディングとエージェントに向く
Gemma 4GoogleE2B〜31B(4.6GB〜20GB)文章と画像を読める
gpt-ossOpenAI20B、120B(14GB、65GB)考えて答える推論に向く
Llama 3.1、3.2、3.3Meta1B〜405BOllamaの一覧で人気の上位

最初の1つは、自分のPCのメモリに合う大きさから選びます。 8GBならqwen3.5:4b、16GBならgemma4:12bやgpt-oss:20b、24GB以上ならqwen3.5:27bのように、「メモリ別に動かせるモデルの目安」の表から選ぶと、すぐに試せます。 大きいモデルほどメモリを多く使い、答えが出るまでの時間も長くなります。 まず小さなモデルで試し、答えに満足できなければ大きなモデルに替えます。

Qwenは、系列ごとに用意された大きさが違います。 qwen3には8b(5.2GB)があり、27bはqwen3.5、qwen3.6、qwen3.8にあります。

日本語で使うモデル

多言語に対応したモデルは、日本語で質問して日本語で答えを受け取れます。 この記事で動かしたqwen3.5:4bも、日本語の質問に日本語で答えました。

国立情報学研究所のLLM-jp-4.1や、ELYZAのLlama-3-ELYZA-JP-8Bのように、日本の研究機関や会社が公開したモデルもあります。 これらはOllamaのモデルの一覧にはありませんが、Hugging FaceでGGUF形式のファイルが配布されているものは、Ollamaに取り込めます。 モデルのページに動かすときの条件が書かれていることがあるので、あわせて確かめます。

GGUFのファイルを取り込むときは、ファイルと同じフォルダにModelfileというテキストファイルを作り、FROM ファイルのパス と書いて、ollama create を実行します。 次は、ELYZAが公開しているGGUFのファイル(4.9GB)を取り込んだときの出力です。

$ cat Modelfile
FROM ./Llama-3-ELYZA-JP-8B-q4_k_m.gguf

$ ollama create elyza-jp-8b -f Modelfile
using autodetected template llama3-instruct
(中略)
success

$ ollama list
NAME                  ID              SIZE      MODIFIED
elyza-jp-8b:latest    8a507e011210    4.9 GB    26 seconds ago
qwen3.5:4b            d8b0f5e9760c    3.3 GB    15 minutes ago

取り込んだ後は、ollama run elyza-jp-8b で動かせます。 日本語で質問すると、日本語で答えが返ってきます。 モデルを使う前に、モデルのページでライセンスを確かめます(Llama-3-ELYZA-JP-8BはMetaのLlama 3のライセンス、LLM-jp-4.1はApache 2.0です)。

作例:ローカルLLMを解説する動画

この記事で説明したローカルLLMの仕組みと始め方を、初めての人向けに約2分20秒で解説する動画を、NoLangで作りました。 動画は次の順に進みます。

  1. ChatGPTのようなAIを、ネットにつながずに自分のPCだけで動かせたら、と問いかけて、ローカルLLMを紹介する
  2. ローカルLLMとは:クラウドのAIとの違いと、「データが外に出ない」「ネットなしで動く」「使うたびの料金がかからない」という3つの利点。性能はPCのスペックしだいであること
  3. 仕組み:モデルと実行ソフトの2つで動くこと、次に来そうな言葉を予測して足すことのくり返しで文章を作ること、量子化で80億パラメータのモデルが約5GBになること、モデルの置き場所にはGPUのメモリかMacのユニファイドメモリが向くこと
  4. 始め方:「メモリを確かめる」「実行ソフト(LM StudioかOllama)を入れる」「モデルを選んで動かす」の3つのステップと、自作のアプリからAPIで呼び出せること
  5. まとめ:仕組みと始め方をおさらいし、小さなモデルから試すことと、商用で使うときにライセンスを確かめることを伝える

動画のメモリの目安(8GBなら4Bまで、16GBなら8Bまで)は、PCに積んだメモリ全体に対するものです。 OSやほかのアプリも同じメモリを使うため、空きのメモリで数えた「メモリ別に動かせるモデルの目安」の表より小さな値になっています。

このテンプレートで動画を作る

「このテンプレートで動画を作る」から、同じ構成で、別のツールや技術の仕組みと始め方を解説する動画を作れます。 文章や資料から動画を作る方法は、AI動画の作り方で説明しています。

会社でローカルLLMを使うときに確かめること

会社でローカルLLMを使うときは、次のことを確かめます。

会社で使う前に確かめること
項目確かめること
モデルのライセンスApache 2.0、MITのように商用で使えるか。独自のライセンスには利用の条件がある
モデルの入手元開発元が公開したものか
クラウドの機能クラウドのモデルを使わないなら、OLLAMA_NO_CLOUD=1 で止める
待ち受けのアドレスOllamaは初期設定では自分のPCの中(127.0.0.1)からの接続だけを受け付ける。OLLAMA_HOSTでほかのPCから接続できるようにするときは、接続できる端末を制限する
社内の決まり顧客との契約や社内の規程で、AIに入力してよい情報の決まりがあるか

モデルのライセンスは、Ollamaの ollama show モデル名 の License の欄や、モデルの公開元のページで確かめられます。

社内でローカルLLMや生成AIを使い始めるときは、使い方と入力してよい情報の決まりを、社員全員に同じ内容で伝える必要があります。 NoLangは、研修の資料(PowerPoint、PDF)から、ナレーションと字幕の入った説明の動画を作れます。 研修の動画の作り方は法人向けの研修動画のページで紹介しています。 導入の相談はお問い合わせから受け付けています。

資料をダウンロード

よくある質問

ローカルLLMは無料で使えますか?
Ollama、LM Studio、llama.cppは無料で使え、Qwen、Gemma、gpt-ossなどのモデルも無料でダウンロードできます。かかるのは、PCやGPUなどの機材と電気代です。モデルによってライセンスの条件が違うので、仕事で使う前にモデルのページで確かめます。Ollamaのクラウドのモデル(名前に:cloudが付くもの)は、手元で動かすモデルと違い、使った量に応じた料金か月額のプランが要ります。
ローカルLLMで一番強いモデルはどれですか?
どの作業にも一番というモデルはありません。合うモデルは、使う作業と、PCのメモリで動かせる大きさで変わります。メモリに収まる大きさのモデルをいくつか選び、同じ質問をして答えを比べると選びやすくなります。Ollamaでは、ollama pullでモデルをダウンロードし、ollama runで同じ質問を試せます。
Ollamaでダウンロードしたモデルはどこに保存されますか?
Ollamaの公式のFAQによると、macOSは~/.ollama/models、Linuxは/usr/share/ollama/.ollama/models、WindowsはC:\Users\%username%\.ollama\modelsです。別の場所に保存したいときは、環境変数OLLAMA_MODELSに保存先のフォルダを設定します。要らなくなったモデルは、ollama rm モデル名で消せます。
Ollamaを新しいバージョンにするには、どうすればいいですか?
macOSとWindowsのOllamaは、新しいバージョンを自動でダウンロードします。タスクバーかメニューバーのOllamaをクリックし、「Restart to update」を選ぶと更新されます。ダウンロードのページから最新版を入れ直しても更新できます。Linuxでは、インストールのコマンド(curl -fsSL https://ollama.com/install.sh | sh)をもう一度実行します。いまのバージョンは、ollama -vで確かめられます。
SHARE
NoLang サービスご紹介資料
資料ダウンロード

NoLangの導入を
ご検討中の方

NoLangを
ご利用中の方

\無料ですぐ試せる/ AIで動画を作ってみる