2026年8月26日水曜日

ローカルLLM モデル選び

先日、ComfyUIの記事で「プロンプト作成のためにローカルLLMをセットアップする」という内容を書きました。

▼ 前回の記事
ComfyUI その後
https://u1f.blogspot.com/2026/08/comfyui_045361163.html

Geminiに勧められ、よくわからないまま「Qwen2.5:7b」というモデルファイルをインストールしたのですが、モデルについて色々調べてみたのでまとめてみます。

モデル名「Qwen2.5:7b」の意味

まず「Qwen」は、中国のアリババ(Alibaba)が公開しているLLM(大規模言語モデル)のシリーズ名です。
  • 2.5:モデルの「世代(バージョン)」
  • 7b:モデルの「パラメータ数(70億=7 Billion)」
パラメータ数は、ざっくり言うと学習量を表す値のようなもので、数値が大きいほど賢くなるが、その分動作に必要なメモリ(VRAM)も大きくなってしまいます。

VRAM 8GBのグラフィックボードなら「7b」や「9b」あたりが実用的なターゲットになり、それ以上のモデルを動かす場合は、VRAM 16GBや24GBといった上位のビデオカードが必要になってしまいます。

世代が進むとより賢くなる

現在各AI企業はたえず進化しており、Qwenだったら同じパラメータサイズでも最新世代の「Qwen3.5:7b」のほうが「Qwen2.5:7b」よりずっと賢くなっているそうです。また、世代が進むと処理効率も上がるため、旧世代の「Qwen2.5:7b」と最新の「Qwen3.5:4b」が同等の賢さになることもあるそうです。パラメータが小さくなれば要求されるVRAM容量も減り、動作もサクサク軽くなります。

Googleの「Gemma4:e4b」に移行

……と、ここまでQwenの話をしてきましたが、今はGoogleの「Gemma4:e4b」を使っています。GoogleのLLMは「Gemma」がシリーズ名です。Qwenは3から思考モードが実装されたそうなのですが、延々と思考ループに入ってしまい、なかなか回答がでてこないことがあります。Gemma4も思考はすれど、ループにはならないのでこちらに乗り換えました。今のところ満足してます。

Google Gemma4:e4b
https://huggingface.co/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive

上記のURLからGemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf をダウンロードし、 Ollama に取り込むため、モデルファイルを作ります。
---
FROM ./Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf

# システムプロンプトの設定
SYSTEM """
あなたは親切なアシスタントです。回答は簡潔に、日本語で答えてください。
"""

# パラメータ設定
PARAMETER temperature 0.7
PARAMETER top_p 0.9
---
パラメーターはよくわからず設定している。この辺りも理解できるようになりたいね…
Ollama に取り込み、起動
$ ollama create gemma4:e4b-uncensored -f ./Modelfile
$ ollama run gemma4:e4b-uncensored

参考資料
生成AIの出力を操る「temperature / topP / topK」完全ガイド(直感→仕組み→実務設定まで)
https://qiita.com/softbase/items/20c372b1e07873bae2b7

グーグルのオフィシャルではGemma4は temperature=1.0, top_p=0.95, top_k=64 を推奨しているらしい。