2026年9月5日土曜日

llama.cpp を導入

これまで、ローカルLLM用のソフトウェアとしてOllamaを使ってきましたが、趣向を変えてllama.cpp を導入してみました。実際のところ、Ollamaのベースもllama.cppらしいのですが、直接実行する方が余計なオーバーヘッドがない分、多少動作が軽快になるはず…！という期待もあります。

必要なツール類のインストール
$ sudo apt update
$ sudo apt install git cmake build-essential
$ sudo apt install nvidia-cuda-toolkit

Gitからllama.cppをクローン
$ git clone https://github.com/ggml-org/llama.cpp.git
$ cd llama.cpp

CUDA版でllama.cppをビルドする
$ cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=native
$ cmake --build build --config Release -j 8

ビルドはそれなりに時間がかかるので、放置して寝ていたら朝には終わっていました。ちなみに、今回のコマンドには入れていませんが、-DCMAKE_CUDA_ARCHITECTURES=native オプションを付与すると、GPUの型番に合わせて自動で最適化してくれるらしいです。次回ビルドする機会があれば、ぜひ試してみたい。

llama.cpp を導入した最大の動機のひとつが「ブラウザからアクセスして利用できるWebUI機能を使いたかった」から。OllamaのときはSSH経由のターミナルで使っていたので、手軽にブラウザから使える環境が欲しかったのです。

というわけで、llama-server が起動できるように専用のシェルスクリプトを作りました。
---
#!/bin/bash
cd "$HOME/llama.cpp" || exit 1

declare -A MODELS
MODELS[e4b]="./models/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf"
MODELS[q4b]="./models/Qwen3.5-4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf"

MODEL_KEY="${1:-e4b}"
MODEL="${MODELS[$MODEL_KEY]}"

if [ -z "$MODEL" ]; then
  echo "利用可能モデル:"
  printf '  %s\n' "${!MODELS[@]}"
  exit 1
fi

if [ ! -f "$MODEL" ]; then
  echo "モデルファイルが見つかりません: $MODEL"
  exit 1
fi

echo "モデル: $MODEL_KEY"
echo "ファイル: $MODEL"

LLAMA_SERVER="./build/bin/llama-server"
HOST="0.0.0.0"
PORT="8080"
CTX_SIZE="4096"
N_GPU_LAYERS="-1"
THREADS="$(nproc)"

exec "$LLAMA_SERVER" \
  --model "$MODEL" \
  --host "$HOST" \
  --port "$PORT" \
  --ctx-size "$CTX_SIZE" \
  --n-gpu-layers "$N_GPU_LAYERS" \
  --threads "$THREADS" \
  --temp 1.0 \
  --top-p 0.95 \
  --top-k 64 \
  --repeat-penalty 1.1
---
サーバーが起動後、ブラウザからアクセスすると、見覚えのある画面が表示されます。質問するとこんな感じ。
これで、ComfyUIと共にローカルLLMもブラウザで完結できる環境が整いました。なんか構築したら満足してしまった。
時刻:
ラベル:

2026年9月3日木曜日

FF14日記 〜 モグモグコレクション

来週からモグモグコレクションが始まります。そういえば、暁月6.55でもモグコレやってましたね。

モグモグ★コレクション 〜 天文に至る路

今回の目玉は「ウォロン・ホルン」というマウントですが、いつものトークンに加え交換手形を集める必要があります。手形はモグコレ期間中に1回限りのモグモグチャレンジと週1回のウィークリープチモグチャレンジでのみ入手でき、最短で5週間かかります。あからさまな時間稼ぎ…そんなに課金を切られているのだろうかと邪推してしまう。

今回欲しいアイテムは2つ。

ウォロン・ホルン 100個＋手形10枚

以上、130個でした。さすがに欲しい物が少なくなってきたね。
時刻:
ラベル:

2026年9月1日火曜日

FF14日記 ～ 今週の出来事

先週は休日出勤するほど忙しく、ゲームをあまりすることができませんでした。早く落ち着いてほしい。

◆ パッチ7.56
来週はパッチ7.56のメンテナンスがある予定です。メインストーリーPart2と魔獣使いが登場します。黄金のメインストーリーの更新はこれで最後となるはずなので、白銀の世界へどう向かうのか、その真相も明らかになるでしょう。

◆ ナギだねぇ
死者の宮殿はやる気がでなくて放置中です。それで、だらだらクレセントアイルをやってるんだけど、流石に飽きてきたね…。蘇生人数は250人に到達したところで、ファントムウェポンは残り6ジョブです。

時刻:
ラベル:
登録: 投稿 (Atom)