Applied AI Engineer — valutazione di LLM, testing comportamentale e sistemi di AI in produzione
Torino, Italia · [email protected] · linkedin.com/in/pietro-ferragamo · github.com/pietro121orteip
Ingegnere di AI applicata con un MSc in Matematica: costruisco e valuto sistemi LLM in produzione. Il mio baricentro è la valutazione, ovvero le metodologie e l’infrastruttura che rendono misurabile la qualità dei modelli e robusto il ciclo di iterazione. Unico autore del framework di valutazione comportamentale, dell’architettura di retrieval a due stadi (oltre 100.000 query in produzione) e del server MCP interno alla base di un chatbot di assistenza ai bandi distribuito su scala nazionale per la Pubblica Amministrazione italiana. Attualmente sto completando un secondo MSc, in Computer Science (specializzazione in ML), alla Georgia Tech, in parallelo a un ruolo IC senior in CSI Piemonte.
Esperienza
CSI-Piemonte — AI Engineer, R&D — Torino, Italia
set 2024 – presente
R&S su sistemi basati su LLM per uno dei più grandi provider IT in-house italiani per il settore pubblico. Curo in autonomia i layer di valutazione, retrieval e composizione dei tool del chatbot citato sopra (Camilla). Stack: Python, Azure OpenAI, LangChain/LangGraph, Weaviate, PostgreSQL, FastAPI, Docker.
Framework di valutazione comportamentale e governance per sistemi LLM agentici
- Metodologia di valutazione progettata end-to-end: LLM-as-a-judge multi-rubrica su tipi di test eterogenei (pseudo-ground-truth, conversazioni multi-turno con cambio dinamico di ambito, comportamento del motore di ricerca, qualità delle collezioni di embedding), con grounding imposto da un contratto di tool necessario a ogni turno.
- Suite di probe avversariali multi-turno per la tenuta del ruolo istituzionale sotto pressione: prompt injection e jailbreak, confini informativi, equità e non discriminazione, integrità temporale, recupero post-attacco; tassonomia di mia progettazione, derivata dalle interazioni in produzione e integrata con la OWASP Top 10 per le applicazioni LLM.
- Entity extraction/check per bandi pubblici: un task dedicato ri-estrae i metadati di ogni bando dal testo sorgente (prima le regex, l’LLM per ultimo) e li confronta con quelli serviti in produzione, lasciando all’LLM solo i veri casi ambigui.
- Orchestrazione deliberatamente minimale: PostgreSQL unico punto di contatto, dipendenze del DAG risolte in SQL, worker FastAPI che scalano orizzontalmente, run che si fermano in modo pulito e ripartono dai soli task falliti; costo e latenza di ogni ciclo tracciati nella dashboard del servizio.
Approfondimento nella pagina progetto.
Architettura di retrieval a due stadi per l’assistenza ai bandi su scala nazionale
- Costruita da zero attorno a una separazione: capire di quale bando parla l’utente (estrazione di entità con LLM, espansione relazionale su dizionari curati dichiarati come regole PostgreSQL, filtri esatti, reranking lessicale) e rispondere su quel bando (retrieval ibrido Weaviate, BM25 più embedding, ristretto al bando individuato).
- Latenza piatta sull’intero corpus (~10.000 bandi): candidati filtrati su indici B-tree rispetto all’intento dell’utente estratto via LLM, similarità trigram su vista materializzata indicizzata GIN, costruzione degli indici spostata al momento dell’acquisizione; il recall non va mai a zero per scelta progettuale, ogni fallimento retrocede alla ricerca full-text invece di generare un errore.
- Alta affidabilità: nell’ordine di una segnalazione da cliente ogni diverse settimane di traffico reale; una suite di regressione di diverse centinaia di query annotate fa da gate a ogni modifica prima della produzione. Responsabilità end-to-end: schema, dizionari, API, deployment, monitoraggio.
Approfondimento nella pagina progetto.
Server MCP interno per la composizione dei tool dell’agente
- Tool frammentati per singolo cliente consolidati in un unico server MCP interno (STDIO): primitive riutilizzabili mantenute e riviste per la sicurezza centralmente, composte via YAML in tool calibrati sul singolo agente.
- Indipendente dall’orchestratore per costruzione; il collo di bottiglia è passato dagli sviluppatori agli esperti di dominio, con una UI di back-office in arrivo. Articolo a firma singola su Agenda Digitale (giugno 2026).
Approfondimento nella pagina progetto.
Inoltre: ogni sistema qui sopra è dimensionato in produzione su costi e latenza (tier di modello scelto per ciascun task e valutato quantitativamente; dashboard dei costi su ogni prodotto). Assistenti RAG costruiti e messi a punto su altre quattro basi di conoscenza (documentazione tecnica, sanità regionale, formazione, supporto), occupandomi di acquisizione dei dati, tuning del retrieval, prompting, specifiche e demo a contatto con i clienti; migrazione di uno stack LangChain preesistente a un’architettura agentica LangGraph con memoria a breve e lungo termine.
CSI-Piemonte — Senior Business Analyst — Cuneo, Italia
set 2022 – set 2024
Analista responsabile delle componenti geospaziali di sistemi IT regionali che amministrano oltre 1 miliardo di € di fondi UE/nazionali/regionali. Ho portato la regione sopra le soglie UE di geolocalizzazione, contribuendo ad evitare il disimpegno parziale dei fondi per la Regione Piemonte. Specifiche, fattibilità e demo con i clienti della PA; testing del software a tutti i livelli; reportistica quantitativa per le autorità di regolamentazione UE (Sistema Integrato di Gestione e Controllo, SIGC).
aizoOn Technology Consulting — Business Data Analyst — Cuneo, Italia
nov 2016 – set 2022
Sviluppo PL/SQL (Oracle 11, Oracle Spatial) per clienti del settore pubblico: progettazione di casi d’uso, sviluppo e tuning di stored procedure, testing del software, reportistica basata su SQL per funzionari statali e autorità di regolamentazione UE.
Pubblicazioni e scritti
- Camilla, l’assistente AI che sfida la burocrazia nella PA — agendadigitale.eu, 30 aprile 2026 — Articolo a firma singola su architettura e governance del chatbot nazionale per la PA in CSI: retrieval ibrido, valutazione automatizzata, metodologia LLM-as-a-judge.
- Assistenti AI nella PA: come estenderli con strumenti riusabili — agendadigitale.eu, 22 giugno 2026 — Articolo a firma singola sull’estensione degli assistenti AI in produzione tramite un server MCP interno: primitive riutilizzabili, composizione dichiarativa dei tool (YAML) e i trade-off di governance e auditabilità tra approcci agentici e a contesto ampio nel settore pubblico.
- [In uscita, luglio 2026] Red-teaming e valutazione comportamentale di sistemi di AI agentica in contesti regolamentati — agendadigitale.eu.
- Optimal Control of an Ecogenetic Model — International Journal of Applied and Computational Mathematics, 2017 — Articolo peer-reviewed co-firmato sul controllo ottimo di dinamiche ecogenetiche.
Formazione
Georgia Institute of Technology — MSc Computer Science, specializzazione in Machine Learning — ago 2024 – apr 2027 (in corso) Media 4.0 su 6/10 corsi completati. Completati: Machine Learning, Artificial Intelligence, Knowledge-Based AI, AI for Robotics, Ethics in AI, Human-Computer Interaction. Pianificati: Natural Language Processing (in corso), Deep Learning, Reinforcement Learning, Graduate Algorithms.
Università degli Studi di Torino — MSc in Matematica — 2014–2016 Voto finale: 110L/110 e menzione. Focus: processi stocastici, probabilità, ottimizzazione. Tesi: Levy Processes in Finance (modelli gaussiani vs Levy per serie storiche di prezzi di asset).
Università degli Studi di Torino — BSc in Matematica — 2010–2014
Conservatorio “G. Verdi” di Torino — Diploma in Chitarra Classica — 2001–2008
Lingue: italiano (madrelingua), inglese (C2 — IELTS Academic Band 8.5, gennaio 2024).
Progetti personali
Assistente vocale AI
Python, FastAPI, OpenAI, Twilio, React Native, Redis, Docker — GitHub
Agente telefonico con licenza AGPL (backend più app mobile abbinata), sviluppato interamente da me, che risponde alle chiamate al posto dell’utente: dialogo naturale con il chiamante, notifiche in tempo reale sui temi della conversazione nell’app (dove si può lasciarlo proseguire, subentrare o riattaccare), e a chiamata conclusa trascrizione, riassunto, classificazione ed estrazione di entità.
- Opzionalità di costo per scelta progettuale: due motori di conversazione in streaming intercambiabili dietro un’interfaccia unificata, OpenAI Realtime (audio-to-audio, più costoso) o una pipeline custom STT+LLM+TTS (4–5 volte più economica, meno di un secondo al primo audio, al prezzo di una complessità extra su turn taking e barge-in).
- Funzionante e deployabile, non un prodotto: a fare da gate a questa affermazione una security review formale con lista di MUST FIX bloccanti; l’informativa richiesta dall’AI Act è uno stato della macchina del barge-in, non un disclaimer; conservazione conforme al GDPR, container non-root, rate limiting multilivello, CI orientata alla sicurezza.
Approfondimento nella pagina progetto.
Competenze tecniche
Sistemi LLM — LangChain/LangGraph, Model Context Protocol (MCP), Azure OpenAI, architetture RAG, progettazione di tool agentici, prompt engineering
Valutazione — LLM-as-a-judge e progettazione di rubriche, tassonomie di probe avversariali e red-teaming (OWASP Top 10 LLM), suite di regressione, budget di costo/latenza della valutazione
Dati e infrastruttura — Python, PostgreSQL (avanzato), PL/SQL (certificazione Oracle OCP), Weaviate, Redis, FastAPI, Docker, CI/CD (GitHub Actions, Jenkins), osservabilità (Grafana, Loki, Prometheus); PyTorch (coursework, in corso su NLP)
Fondamenti e metodo di lavoro — processi stocastici, probabilità, ottimizzazione; AI Act e GDPR nell’AI in produzione (conservazione dei dati, selezione degli endpoint, informativa obbligatoria); sviluppo quotidiano assistito da AI agentica (Claude Code, GitHub Copilot)