Beellama.cpp

Installation

NVIDIA

Prérequis : avoir installé le cuda-toolkit

On récupère le projet :

# cd /opt/
# git clone https://github.com/Anbeeld/beellama.cpp.git
# cd beellama.cpp

On passe à la compilation :

# export CUDACXX=/usr/local/cuda-13.3/bin/nvcc
# cmake -B build -DGGML_CUDA=ON -DGGML_NATIVE=ON -DGGML_CUDA_FA=ON -DCMAKE_BUILD_TYPE=Release -DGGML_LTO=ON -DGGML_CUDA_FA_ALL_QUANTS=ON -DLLAMA_OPENSSL=ON -DLLAMA_BUILD_TESTS=OFF
# cmake --build build --config Release -j$(nproc)

Tests en vrac

Qwen 3.6 27b Q4 MTP kvarn 5 kvarn 5

Pour référence uniquement : kvarn et tail-tokens ne fonctionne pas avec sm tensor...

# vi /etc/systemd/system/beellama-server.service

[Unit]
Description=llama.cpp Qwen3.6-27B MTP server (KVarN5 test)
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=root
WorkingDirectory=/opt/beellama.cpp
ExecStart=/opt/beellama.cpp/build/bin/llama-server \
  -m /opt/models/Qwen3.6-27B-MTP-GGUF/UD-Q4_K_XL/Qwen3.6-27B-UD-Q4_K_XL.gguf \
  --mmproj /opt/models/Qwen3.6-27B-MTP-GGUF/UD-Q4_K_XL/mmproj-BF16.gguf \
  --no-mmproj-offload \
  --image-min-tokens 1024 \
  -ngl 999 \
  -sm tensor \
  -ts 1/1 \
  -t 4 \
  -tb 4 \
  -b 1024 \
  -ub 1024 \
  -c 98304 \
  -np 1 \
  -fa on \
  --load-mode none \
  --cache-type-k kvarn5 \
  --cache-type-v kvarn5 \
  --kv-tail-tokens 1024 \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --spec-draft-n-min 0 \
  --spec-draft-p-min 0.75 \
  --reasoning on \
  --reasoning-preserve \
  --jinja \
  --chat-template-file /opt/models/Qwen-Fixed-Chat-Templates/chat_template.jinja \
  --chat-template-kwargs '{"preserve_thinking": true}' \
  --reasoning-format none \
  --reasoning-budget 16192 \
  --reasoning-budget-message "D'accord, assez réfléchi, plus d'attente. Passons à l'action." \
  --temp 0.6 \
  --top-k 20 \
  --top-p 0.95 \
  --min-p 0.0 \
  --presence-penalty 0.0 \
  --repeat-penalty 1.0 \
  --host 0.0.0.0 \
  --port 8080 \
  --api-key-file /etc/ai/ssl/api-keys.txt \
  --ssl-key-file /etc/ai/ssl/server.key \
  --ssl-cert-file /etc/ai/ssl/server.crt
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target