Strata

Installation

# sudo apt update && sudo apt upgrade
# sudo apt install git build-essential
# cd /opt/
# sudo git clone https://github.com/Niko1221/Strata.git
# cd Strata
# sudo ./setup.sh

Configuration

Après avoir laissé le moteur effectuer son réglage automatique, il est possible d’ajuster manuellement certains paramètres :

# sudo vi /opt/Strata/strata-unsloth-ud-iq4_xs.json

Table N-GRAM en RAM

Pour charger la table N-GRAM en RAM plutôt que depuis le stockage, ajouter les paramètres suivants dans la section args :

"--ple-io",
"ram",

Cette option est particulièrement intéressante lorsque le modèle est stocké sur un SSD SATA ou un support relativement lent.

fit_max_tokens

Pour éviter qu’une requête soit refusée lorsque la somme du prompt et du nombre maximal de tokens de sortie dépasse la taille du contexte, ajouter à la racine du fichier JSON :

"fit_max_tokens": true,

Strata réduit alors automatiquement max_tokens afin que la réponse tienne dans le contexte restant.

Nombre de workers CPU

Le paramètre --pool-workers permet de définir le nombre de workers utilisés pour le calcul des experts sur le CPU.

Par exemple :

"--pool-workers",
"10",

Sur un processeur 12 cœurs / 24 threads, 10 workers accompagnés du thread hôte de Strata utilisent 11 cœurs physiques, ce qui laisse un cœur physique libre pour les threads auxiliaires, CUDA et le système.