Una critica ricorrente ai sistemi LLM è che sono opachi (lo sono), che sono scatole nere (non lo sono, ma restano difficili da sondare), e che in fondo fidarsi di loro è un atto di fede. Il problema sembra circolare: un sistema capace di generare linguaggio coerente e fluente, ma su una scala alla quale la revisione umana da sola non riesce a stare dietro.
Qual è la risposta? In realtà le risposte sono tante, stratificate come le mura che proteggono una città: i provider commerciali di AI offrono già una prima linea di difesa, filtrando le richieste violente o pericolose. Ma resta fuori un numero enorme di richieste «legittime» che per un chatbot della pubblica amministrazione non sono ammissibili. E la fairness? Non discriminazione, integrità del ruolo, rifiuto di impersonare qualcun altro o di cambiare stile e tono… e una miriade di potenziali attacchi o richieste malevole che potrebbero trasformare un sistema su scala nazionale in un incubo mediatico?
Ancora prima di questo: come misuriamo se l’assistente è davvero in grado di dare informazioni corrette sui concorsi pubblici (visto che parliamo di Camilla per INPA)? Come ci assicuriamo che il sistema LLM non confonda le proprie conoscenze pre-addestrate (magari datate) con quello che è effettivamente scritto in un bando appena pubblicato? In un contesto in cui l’utente è un cittadino che cerca lavoro, e che agirà in base a quello che il sistema gli dice. Il diritto al lavoro è universalmente riconosciuto, ed è estremamente delicato intrecciarlo, o subordinarlo, a un sistema che risponde in automatico e che deve assolutamente attenersi alle fonti ufficiali.
Non bisogna però essere troppo pessimisti. Dall’altro lato si apre un’opportunità straordinaria: una fonte di informazioni sempre aggiornate, disponibile 24 ore su 24, senza attese e senza ore di lavoro umano, che democratizza l’accesso al lavoro pubblico, prima sepolto in bandi pieni di burocrazia (necessaria, ma spesso difficile da leggere).
Così, per far incontrare questi due mondi, il bisogno di sicurezza e osservabilità da una parte e il ventaglio di possibilità aperto dai sistemi AI nello spazio pubblico dall’altra, mi sono imbarcato in un percorso di valutazione e red-teaming di un chatbot su scala nazionale.
Il risultato? Più di 200 scenari di red-teaming testati ogni giorno; centinaia di domande sintetiche derivate da ciascun nuovo bando e poste al chatbot, che viene valutato in modo indipendente su ogni bando (e un nuovo bando non esce in produzione finché il punteggio non è abbastanza alto); ri-verifiche dei metadati rispetto al testo del bando (ad esempio quali titoli di studio o sedi di lavoro vengono citati); contratti di tool-use rigidi che impongono all’assistente di usare le fonti fornite invece di allucinare.
Tutto questo ci ha permesso di osservare e misurare comportamento e prestazioni dell’assistente lungo i due assi più importanti: correttezza fattuale e sicurezza.
È il terzo e ultimo articolo di una serie sui sistemi LLM in produzione per la Pubblica Amministrazione, dopo quelli su Camilla e sugli strumenti riusabili via MCP.