Strata

Installation

# sudo apt update && sudo apt upgrade
# sudo apt install git build-essential
# cd /opt/
# sudo git clone https://github.com/Niko1221/Strata.git
# cd Strata
# sudo ./setup.sh

Configuration

Après avoir laissé le moteur effectuer son réglage automatique, il est possible d’ajuster manuellement certains paramètres :

# sudo vi /opt/Strata/strata-unsloth-ud-iq4_xs.json

Table N-GRAM en RAM

Pour charger la table N-GRAM en RAM plutôt que depuis le stockage, ajouter les paramètres suivants dans la section args :

"--ple-io",
"ram",

Cette option est particulièrement intéressante lorsque le modèle est stocké sur un SSD SATA ou un support relativement lent.

fit_max_tokens

Pour éviter qu’une requête soit refusée lorsque la somme du prompt et du nombre maximal de tokens de sortie dépasse la taille du contexte, ajouter à la racine du fichier JSON :

"fit_max_tokens": true,

Strata réduit alors automatiquement max_tokens afin que la réponse tienne dans le contexte restant.

Nombre de workers CPU

Le paramètre --pool-workers permet de définir le nombre de workers utilisés pour le calcul des experts sur le CPU.

Par exemple :

"--pool-workers",
"10",

Sur un processeur 12 cœurs / 24 threads, 10 workers accompagnés du thread hôte de Strata utilisent 11 cœurs physiques, ce qui laisse un cœur physique libre pour les threads auxiliaires, CUDA et le système.

CPU auxiliaires

Le paramètre --aux-cpus permet à Strata de réserver automatiquement certains processeurs logiques aux threads auxiliaires, afin qu’ils ne viennent pas perturber le pool chargé du calcul des experts.

Ajouter dans la section args :

"--aux-cpus",
"auto",

Cette option peut notamment être utile lorsque le processeur est fortement sollicité par les workers CPU. Les threads auxiliaires, comme certains threads CUDA, de préchargement ou d’adaptation, sont alors déplacés vers des CPU logiques distincts lorsque cela est possible.

Réglage vision

• Vision sur CPU :

 "vision": {
  "exe": "/opt/Strata/engine/strata-vision",
  "mmproj": "/opt/Strata-data/models/mmproj-Qwen3.8-Flash-Next-BF16.gguf",
  "model": "/opt/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
  "gpu": false,
  "max_tokens": 1024
 }

• Vision sur GPU auxiliaire :

 "vision": {
  "exe": "/opt/Strata/engine/strata-vision",
  "mmproj": "/opt/Strata-data/models/mmproj-Qwen3.8-Flash-Next-BF16.gguf",
  "model": "/opt/Strata-data/models/IQ3_S/Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S-00001-of-00002.gguf",
  "gpu": true,
  "cuda_device": 0,
  "max_tokens": 1024
 }

Désactiver le partage CPU du prefill

La documentation indique que ce partage est activé par défaut sur certaines configurations à un seul GPU, mais reste désactivé par défaut en layer-split multi-GPU.

Sur les processeurs ne disposant pas d’AVX-512, il peut être intéressant de désactiver la participation du CPU au prefill afin d’éviter certaines dégradations de performances.

Ajouter à la racine du fichier JSON :

"env": {
  "STRATA_PREFILL_CPU_SHARE": "0"
},

Cette variable désactive le partage du calcul du prefill avec le CPU. Elle peut être utile sur les anciens Xeon AVX2 lorsque le pool CPU perturbe ensuite les performances de décodage.

La valeur "0" est entre guillemets car il s’agit d’une variable d’environnement.