Client Hugging Face

On installe les dépendances (Debian) :

# apt install -y python3-full python3-venv

On installe huggingface_hub dans un environnement virtuel Python :

# python3 -m venv /opt/huggingface-venv
# /opt/huggingface-venv/bin/pip install -U "huggingface_hub[cli]"
# ln -sf /opt/huggingface-venv/bin/hf /usr/local/bin/hf

On crée le dossier destiné à accueillir les modèles :

# mkdir -p /opt/models

Puis on télécharge le modèle :

# hf download NOM_DU_REPO --include "*VERSION_OU_QUANT*.gguf" --include "mmproj-BF16.gguf" --local-dir /opt/models/NOM_DU_MODELE/VERSION_OU_QUANT

Pour les modèles multimodaux, ajouter le fichier mmproj. Par défaut, mmproj-BF16.gguf est recommandé. Si le modèle n'est pas multimodal, cette option n'est pas nécessaire.

Exemple :

# hf download unsloth/Qwen3.6-35B-A3B-MTP-GGUF --include "*UD-Q8_K_XL*.gguf" --include "mmproj-BF16.gguf" --local-dir /opt/models/Qwen3.6-35B-A3B-MTP-GGUF/UD-Q8_K_XL