Strata

Installation

# sudo apt update && sudo apt upgrade
# sudo apt install git build-essential
# cd /opt/
# sudo git clone https://github.com/Niko1221/Strata.git
# cd Strata
# sudo ./setup.sh

Configuration

Après avoir laissé le moteur effectuer son réglage automatique, il est possible d’ajuster manuellement certains paramètres :

# sudo vi /opt/Strata/strata-unsloth-ud-iq4_xs.json

Table N-GRAM en RAM

Pour charger la table N-GRAM en RAM plutôt que depuis le stockage, ajouter les paramètres suivants dans la section args :

"--ple-io",
"ram",

fit_max_tokens

Strata réduit automatiquement max_tokens pour que la réponse tienne dans le contexte restant :

{
 "fit_max_tokens": true,
 "exe": "/opt/Strata/engine/strata",
 "args": [
  "--pack",
...