Beellama.cpp

Installation

NVIDIA

Prérequis : avoir installé le cuda-toolkit

On récupère le projet :

# cd /opt/
# git clone https://github.com/Anbeeld/beellama.cpp.git
# cd beellama.cpp

On passe à la compilation :

# export CUDACXX=/usr/local/cuda-13.3/bin/nvcc
# cmake -B build -DGGML_CUDA=ON -DGGML_NATIVE=ON -DGGML_CUDA_FA=ON -DCMAKE_BUILD_TYPE=Release -DGGML_LTO=ON -DGGML_CUDA_FA_ALL_QUANTS=ON -DLLAMA_OPENSSL=ON -DLLAMA_BUILD_TESTS=OFF
# cmake --build build --config Release -j$(nproc)

L'utilisation de KVarN avec le mode multi-GPU -sm tensor nécessite au minimum BeeLlama.cpp 0.4.2. Avec les versions antérieures, il faut utiliser -sm layer, moins performant. La branche v0.4.2 n'est pas encore une release officielle.

En attendant la sortie officielle :

# cd /opt/beellama.cpp
   # git fetch origin
   # git checkout v0.4.2

Tests en vrac

Qwen3.6-27B-UD-Q4_K_XL Context 131072 Kvarn6/Kvarn6 - tail 1024 - MTP + n-gam

[Unit]
Description=llama.cpp Qwen3.6-27B MTP server
After=network.target

[Service]
Type=simple
User=root
WorkingDirectory=/opt/beellama.cpp

ExecStart=/opt/beellama.cpp/build/bin/llama-server \
  -m /opt/models/Qwen3.6-27B-MTP-GGUF/UD-Q4_K_XL/Qwen3.6-27B-UD-Q4_K_XL.gguf \
  --mmproj /opt/models/Qwen3.6-27B-MTP-GGUF/UD-Q4_K_XL/mmproj-BF16.gguf \
  --no-mmproj-offload \
  --image-min-tokens 1024 \
  -ngl 999 \
  -sm tensor \
  -ts 1/1 \
  -t 4 \
  -tb 4 \
  -b 1024 \
  -ub 1024 \
  -c 131072 \
  -np 1 \
  -fa on \
  --load-mode none \
  -ctk kvarn6 \
  -ctv kvarn6 \
  --kv-tail-tokens 1024 \
  --spec-type ngram-mod,draft-mtp \
  --spec-ngram-mod-n-match 24 \
  --spec-ngram-mod-n-min 12 \
  --spec-ngram-mod-n-max 48 \
  --spec-draft-n-max 3 \
  --spec-draft-n-min 0 \
  --spec-draft-p-min 0.75 \
  --reasoning on \
  --reasoning-preserve \
  --jinja \
  --chat-template-file /opt/models/Qwen-Fixed-Chat-Templates/chat_template.jinja \
  --chat-template-kwargs '{"preserve_thinking": true}' \
  --reasoning-format none \
  --reasoning-budget 16192 \
  --reasoning-budget-message "D'accord, assez réfléchi, plus d'attente. Passons à l'action." \
  --slot-save-path /kv_cache/ \
  --temp 0.6 \
  --top-k 20 \
  --top-p 0.95 \
  --min-p 0.0 \
  --presence-penalty 0.0 \
  --repeat-penalty 1.0 \
  --host 0.0.0.0 \
  --port 8080 \
  --api-key-file /etc/ai/ssl/api-keys.txt \
  --ssl-key-file /etc/ai/ssl/server.key \
  --ssl-cert-file /etc/ai/ssl/server.crt

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

Qwen3.8-27B Context 144384 Kvarn6/Kvarn6 - tail 1024 - MTP + n-gam

# hf download unsloth/Qwen3.8-27B-GGUF --include "*UD-Q4_K_XL*.gguf" --include "mmproj-BF16.gguf" --local-dir /opt/models/Qwen3.8-27B/UD-Q4_K_XL
# hf download froggeric/Qwen-Fixed-Chat-Templates --include "*chat_template.jinja*" --local-dir /opt/models/Qwen-Fixed-Chat-Templates

# vi /etc/systemd/system/beellama-server.service

[Unit]
Description=llama.cpp Qwen3.8-27B MTP server
After=network.target

[Service]
Type=simple
User=root
WorkingDirectory=/opt/beellama.cpp

ExecStart=/opt/beellama.cpp/build/bin/llama-server \
  -m /opt/models/Qwen3.8-27B/UD-Q4_K_XL/Qwen3.8-27B-UD-Q4_K_XL.gguf \
  --mmproj /opt/models/Qwen3.8-27B/UD-Q4_K_XL/mmproj-BF16.gguf \
  --no-mmproj-offload \
  --image-min-tokens 1024 \
  -ngl 999 \
  -sm tensor \
  -ts 1/1 \
  -t 4 \
  -tb 4 \
  -b 1024 \
  -ub 1024 \
  -c 144384 \
  -np 1 \
  -fa on \
  --load-mode none \
  -ctk kvarn6 \
  -ctv kvarn6 \
  --kv-tail-tokens 1024 \
  --spec-type ngram-mod,draft-mtp \
  --spec-ngram-mod-n-match 24 \
  --spec-ngram-mod-n-min 12 \
  --spec-ngram-mod-n-max 48 \
  --spec-draft-n-max 3 \
  --spec-draft-n-min 0 \
  --spec-draft-p-min 0.75 \
  --reasoning on \
  --reasoning-preserve \
  --jinja \
  --chat-template-file /opt/models/Qwen-Fixed-Chat-Templates/chat_template.jinja \
  --chat-template-kwargs '{"preserve_thinking": true}' \
  --reasoning-format deepseek \
  --reasoning-budget 16192 \
  --reasoning-budget-message "D'accord, assez réfléchi, plus d'attente. Passons à l'action." \
  --slot-save-path /kv_cache/ \
  --temp 1.0 \
  --top-k 20 \
  --top-p 0.95 \
  --min-p 0.0 \
  --presence-penalty 0.0 \
  --repeat-penalty 1.0 \
  --host 0.0.0.0 \
  --port 8080 \
  --api-key-file /etc/ai/ssl/api-keys.txt \
  --ssl-key-file /etc/ai/ssl/server.key \
  --ssl-cert-file /etc/ai/ssl/server.crt

Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target