« Strata » : différence entre les versions
Autres actions
| Ligne 15 : | Ligne 15 : | ||
Pour charger la table N-GRAM en RAM plutôt que depuis le stockage, ajouter les paramètres suivants dans la section <code>args</code> : | Pour charger la table N-GRAM en RAM plutôt que depuis le stockage, ajouter les paramètres suivants dans la section <code>args</code> : | ||
"--ple-io", | "--ple-io", | ||
"ram", | "ram", | ||
Cette option est particulièrement intéressante lorsque le modèle est stocké sur un SSD SATA ou un support relativement lent. | |||
=== fit_max_tokens === | === fit_max_tokens === | ||
Pour éviter qu’une requête soit refusée lorsque la somme du prompt et du nombre maximal de tokens de sortie dépasse la taille du contexte, ajouter à la racine du fichier JSON : | |||
"fit_max_tokens": true, | |||
Strata réduit alors automatiquement <code>max_tokens</code> afin que la réponse tienne dans le contexte restant. | |||
=== Nombre de workers CPU === | |||
Le paramètre <code>--pool-workers</code> permet de définir le nombre de workers utilisés pour le calcul des experts sur le CPU. | |||
Par exemple : | |||
"--pool-workers", | |||
"10", | |||
Sur un processeur 12 cœurs / 24 threads, 10 workers accompagnés du thread hôte de Strata utilisent 11 cœurs physiques, ce qui laisse un cœur physique libre pour les threads auxiliaires, CUDA et le système. | |||
Version du 15 octobre 2026 à 10:50
Installation
# sudo apt update && sudo apt upgrade # sudo apt install git build-essential # cd /opt/ # sudo git clone https://github.com/Niko1221/Strata.git # cd Strata # sudo ./setup.sh
Configuration
Après avoir laissé le moteur effectuer son réglage automatique, il est possible d’ajuster manuellement certains paramètres :
# sudo vi /opt/Strata/strata-unsloth-ud-iq4_xs.json
Table N-GRAM en RAM
Pour charger la table N-GRAM en RAM plutôt que depuis le stockage, ajouter les paramètres suivants dans la section args :
"--ple-io", "ram",
Cette option est particulièrement intéressante lorsque le modèle est stocké sur un SSD SATA ou un support relativement lent.
fit_max_tokens
Pour éviter qu’une requête soit refusée lorsque la somme du prompt et du nombre maximal de tokens de sortie dépasse la taille du contexte, ajouter à la racine du fichier JSON :
"fit_max_tokens": true,
Strata réduit alors automatiquement max_tokens afin que la réponse tienne dans le contexte restant.
Nombre de workers CPU
Le paramètre --pool-workers permet de définir le nombre de workers utilisés pour le calcul des experts sur le CPU.
Par exemple :
"--pool-workers", "10",
Sur un processeur 12 cœurs / 24 threads, 10 workers accompagnés du thread hôte de Strata utilisent 11 cœurs physiques, ce qui laisse un cœur physique libre pour les threads auxiliaires, CUDA et le système.