Beellama.cpp
De Le Wiki de Lug
Autres actions
Installation
NVIDIA
- Prérequis : avoir installé le cuda-toolkit
On récupère le projet :
# cd /opt/ # git clone https://github.com/Anbeeld/beellama.cpp.git # cd beellama.cpp
On passe à la compilation :
# export CUDACXX=/usr/local/cuda-13.3/bin/nvcc # cmake -B build -DGGML_CUDA=ON -DGGML_NATIVE=ON -DGGML_CUDA_FA=ON -DCMAKE_BUILD_TYPE=Release -DGGML_LTO=ON -DGGML_CUDA_FA_ALL_QUANTS=ON -DLLAMA_OPENSSL=ON -DLLAMA_BUILD_TESTS=OFF # cmake --build build --config Release -j$(nproc)