Compression des prompts
Réduire les tokens upstream avec une compression vérifiée sémantiquement.
La compression des prompts retire remplissages et formules de politesse avant envoi au modèle. Une porte sémantique vérifie chaque réécriture ; en cas d’incertitude, le prompt original est envoyé intact.
Niveaux#
| Niveau | Fonction | Défaut |
|---|---|---|
| Rule tier | Supprime certains remplissages (please, kindly, i was wondering if, basically), espaces superflus et normalise ponctuation/capitalisation sans modifier les mots porteurs de sens. | Activé |
| Aggressive tier | Supprime certains articles, remplace and par virgule hors nombres, ajuste certains signes entre mots. Heures et ports URL préservés. | Facultatif |
| LLM tier | Modèle compresseur configuré, limite 16K caractères, temperature 0 ; échec, timeout ou refus revient au résultat Rule validé. | Facultatif |
Porte sémantique#
Similarité cosinus du texte compressé et original, seuil par défaut 0.92. Score trop faible ou porte indisponible : original conservé (fail-closed). Économie minimale par défaut 5 %. Aggressive utilise 0.85 et revient au résultat Rule si rejeté.
Observabilité et configuration#
Transactions enregistrent mode rule/LLM et tokens économisés estimés ; Dashboard affiche Tokens saved (24h). Settings -> Prompt Compression configure activation (désactivée par défaut), seuils, règles agressives et modèle. Model Inventory permet inherit / on / off. Escopo limitado a chat e /v1/messages; embeddings nunca comprimidos.