Framework di valutazione comportamentale per sistemi LLM agentici
Valutatore task-oriented con LLM-as-a-judge multi-rubrica e una suite di 200+ scenari avversariali multi-turno per un chatbot nazionale della PA.
Progetti
Sistemi che ho costruito e portato in produzione. I progetti CSI Piemonte sono descritti al livello di dettaglio già pubblico negli articoli collegati; tutti i progetti personali invece sono open source e ispezionabili per intero sul mio GitHub.
Motore di ricerca a due stadi per i bandi pubblici
Il motore di retrieval di Camilla: 101.000 query in produzione, 2,3 s di latenza media end-to-end, regressione al 97% su centinaia di query annotate.
Server MCP interno per la composizione dei tool
Primitive riutilizzabili e composizione dichiarativa in YAML: lo sviluppo di un agente per un nuovo cliente passa da 4-5 giorni a mezza giornata.
Assistente vocale AI
Agente telefonico open source che risponde alle chiamate al posto tuo: due motori di conversazione intercambiabili, turn taking costruito a mano, meno di un secondo al primo audio.