Compressão de prompts
Reduza tokens upstream com compressão validada semanticamente.
A compressão de prompts remove preenchimentos e cortesias antes do envio. Cada reescrita passa por validação semântica; se o significado não puder ser confirmado, o original é encaminhado.
| Nível | Função | Padrão |
|---|---|---|
| Rule tier | Remove preenchimentos selecionados (please, kindly, i was wondering if, basically), espaços extras e normaliza pontuação/capitalização sem alterar palavras relevantes. | Habilitado |
| Aggressive tier | Remove alguns artigos, troca and por vírgula fora de números e ajusta sinais selecionados; preserva horários e portas URL. | Opcional |
| LLM tier | Modelo compressor, limite 16K caracteres, temperature 0; falha, timeout ou rejeição volta ao resultado Rule validado. | Opcional |
Similaridade de cosseno padrão 0.92. Score baixo ou gate indisponível preserva o original (fail-closed). Economia mínima padrão 5%. Aggressive usa 0.85 e retorna a Rule se rejeitado.
Transações registram modo rule/LLM e tokens economizados estimados; Dashboard mostra Tokens saved (24h). Settings -> Prompt Compression configura ativação (desligada por padrão), limites, regras agressivas e modelo. Model Inventory permite inherit / on / off. Aplica-se a chat e /v1/messages; embeddings nunca são comprimidos.