Beellama.cpp

Installation

NVIDIA

Prérequis : avoir installé le cuda-toolkit

On récupère le projet :

# cd /opt/
# git clone https://github.com/Anbeeld/beellama.cpp.git
# cd beellama.cpp

On passe à la compilation :

# export CUDACXX=/usr/local/cuda-13.3/bin/nvcc
# cmake -B build -DGGML_CUDA=ON -DGGML_NATIVE=ON -DGGML_CUDA_FA=ON -DCMAKE_BUILD_TYPE=Release -DGGML_LTO=ON -DGGML_CUDA_FA_ALL_QUANTS=ON -DLLAMA_OPENSSL=ON -DLLAMA_BUILD_TESTS=OFF
# cmake --build build --config Release -j$(nproc)

L'utilisation de KVarN avec le mode multi-GPU -sm tensor nécessite au minimum BeeLlama.cpp 0.4.2. Avec les versions antérieures, il faut utiliser -sm layer, moins performant. La branche v0.4.2 n'est pas encore une release officielle.

En attendant la sotie officielle :

# cd /opt/beellama.cpp
   # git fetch origin
   # git checkout v0.4.2