Introduzione
Un agente AI diventa utile quando può agire. Ma appena può agire, deve essere controllato.
Il controllo non può basarsi solo sul prompt. Scrivere “non fare errori” o “chiedi conferma se non sei sicuro” non basta. Serve un’architettura con guardrail, log, tracing, soglie e procedure di escalation.
In un contesto aziendale, guardrail e monitoraggio non sono elementi accessori. Sono la differenza tra un esperimento interessante e un sistema operativo governabile.
Cosa sono i guardrail
I guardrail sono controlli che verificano input, output o azioni dell’agente.
Possono:
- bloccare richieste fuori perimetro;
- impedire chiamate a strumenti rischiosi;
- validare dati prima di una API;
- controllare output prima dell’invio;
- attivare un errore o una richiesta di revisione;
- limitare costi, volumi o frequenza.
Secondo la documentazione OpenAI, i guardrail possono essere applicati agli input, agli output e alle chiamate agli strumenti. Nei workflow multi-agente, questa distinzione è importante: un controllo solo all’inizio o alla fine non copre necessariamente ciò che accade durante il processo.
I tre livelli di controllo
1. Input guardrail
Controllano la richiesta iniziale.
Esempi:
- richiesta fuori ambito;
- contenuto malevolo;
- dati mancanti;
- richiesta non autorizzata;
- categoria non gestibile dall’agente.
Sono utili per evitare che il workflow parta quando non dovrebbe.
2. Tool guardrail
Controllano le chiamate agli strumenti.
Sono i più importanti quando l’agente può produrre effetti reali: scrivere su database, chiamare API, inviare email, creare ticket o modificare record.
Esempi:
- blocca modifiche sopra una certa soglia;
- consenti solo lettura su alcuni dati;
- valida formato e campi obbligatori;
- impedisci invii a destinatari non autorizzati;
- richiedi approvazione per azioni irreversibili.
3. Output guardrail
Controllano il risultato finale.
Esempi:
- tono non coerente;
- dati personali non necessari;
- promessa commerciale non autorizzata;
- risposta incompleta;
- contenuto non conforme a policy.
Perché serve il monitoraggio
I guardrail bloccano o regolano. Il monitoraggio permette di capire come il sistema si comporta nel tempo.
Un workflow agentico deve essere osservabile. Senza osservabilità, non sai:
- quali strumenti vengono usati;
- quanto costa ogni esecuzione;
- dove si interrompe il flusso;
- quali agenti generano più errori;
- quali output richiedono revisione;
- quali casi finiscono fuori perimetro.
Il tracing è particolarmente utile perché permette di ricostruire generazioni, tool call, handoff e guardrail. Questo aiuta sia in sviluppo sia in produzione.
Metriche da controllare
Metriche operative
- numero di esecuzioni;
- tempo medio per completare il workflow;
- tasso di completamento;
- tasso di errore;
- casi passati a revisione umana;
- azioni bloccate dai guardrail.
Metriche economiche
- costo medio per esecuzione;
- costo per agente;
- costo per tool call;
- costo per caso completato;
- anomalie di consumo.
Metriche qualitative
- output accettati senza modifica;
- output corretti manualmente;
- errori ricorrenti;
- feedback degli operatori;
- reclami o segnalazioni.
Metriche di rischio
- tentativi di accesso fuori perimetro;
- chiamate tool rifiutate;
- escalation attivate;
- azioni reversibili/non reversibili;
- casi con dati sensibili.
Dove inserire il controllo umano
Non tutte le fasi richiedono approvazione umana. Se inserisci controllo umano ovunque, perdi efficienza. Se non lo inserisci mai, aumenti il rischio.
Conviene introdurlo quando:
- l’azione ha impatto economico;
- l’azione è visibile al cliente;
- l’azione modifica dati critici;
- il sistema ha confidenza bassa;
- il caso è fuori pattern;
- il guardrail segnala rischio.
Il controllo umano deve essere mirato, non generico.
Esempio: agente per preventivi
Un agente che aiuta a preparare preventivi può avere questi controlli:
- input guardrail: verifica che richiesta, prodotto e cliente siano chiari;
- tool guardrail: impedisce margini sotto soglia;
- output guardrail: controlla tono, condizioni e coerenza commerciale;
- monitoraggio: registra modifiche manuali, tempi e casi bloccati;
- approvazione umana: obbligatoria prima dell’invio.
In questo modo l’agente accelera il lavoro, ma non diventa un decisore incontrollato.
Conclusione
Gli agenti AI non devono essere solo intelligenti. Devono essere osservabili, limitati e recuperabili.
Guardrail e monitoraggio servono a costruire fiducia operativa: non eliminano ogni errore, ma riducono il rischio che un errore diventi un incidente.
Prima di mettere un agente AI in produzione, la domanda da farsi è semplice: se produce un output sbagliato o usa male uno strumento, ce ne accorgiamo in tempo?
Se la risposta è no, il sistema ha bisogno di più controllo prima di avere più autonomia.
Link interni consigliati:
– Monitoraggio automazioni AI: metriche, alert e controllo degli errori
– Metriche di processo: come misurare automazioni e software custom dopo il rilascio
– ROI delle automazioni AI: come calcolare costi, priorità e ritorno reale
Fonti tecniche:
– OpenAI Agents SDK – Guardrails
– OpenAI Agents SDK – Tracing