Senior GenAI Engineer — sistemi LLM, architetture agentiche, valutazione e governance

Torino, Italia · [email protected] · linkedin.com/in/pietro-ferragamo · github.com/pietro121orteip

Ingegnere di AI applicata con background in matematica, costruisco sistemi basati su LLM distribuiti su scala nazionale per la Pubblica Amministrazione italiana. Unico autore del motore di ricerca ibrido/semantico (oltre 100.000 query in produzione), del framework di valutazione comportamentale e del server MCP interno alla base di un chatbot di assistenza ai bandi per il settore pubblico. Attualmente sto completando un MSc in Computer Science (specializzazione in ML) alla Georgia Tech, in parallelo a un ruolo IC senior in CSI Piemonte, con un forte interesse per la valutazione, la governance e la sicurezza dei sistemi di AI agentica in produzione.

Competenze tecniche

Stack LLM e agentico — LangChain, LangGraph, Model Context Protocol (MCP), Azure OpenAI, prompt engineering, progettazione dell’uso dei tool, LLM-as-a-judge, architetture RAG, orchestrazione agentica, valutazione comportamentale e red-teaming

Valutazione e governance — giudici LLM multi-rubrica, suite di regressione, verifiche comportamentali (prompt injection, equità, integrità temporale, verifica dell’uso dei tool), trade-off latenza/costo/qualità, considerazioni su AI Act europeo e GDPR nell’AI in produzione, osservabilità dei servizi di AI

Retrieval e dati — retrieval ibrido (denso + sparso + trigram), Weaviate, Redis, pgvector (cenni), estrazione di entità, retrieval guidato dai metadati, analisi della qualità delle collezioni di embedding, paradigma RAG agentico e non.

Linguaggi e infrastruttura — Python, SQL (PostgreSQL avanzato, certificazione Oracle OCP), FastAPI, Docker, Bash, Git; PyTorch (regressione/classificazione, NLP); CI/CD (Jenkins, GitHub Actions); osservabilità (Grafana, Prometheus, Loki, Promtail)

Cloud e deployment — Azure (Azure OpenAI, deployment in container); authoring di Helm chart in corso

Fondamenti matematici — processi stocastici, probabilità, ottimizzazione, filtraggio bayesiano (Kalman, particle filter, SLAM)

Esperienza

CSI-Piemonte — AI Engineer, R&D — Torino, Italia

set 2024 – presente

R&S su sistemi basati su LLM per uno dei più grandi provider IT in-house regionali d’Italia. Unico ingegnere sulle componenti di motore di ricerca, valutazione e composizione dei tool di un chatbot di assistenza ai bandi su scala nazionale distribuito per la Pubblica Amministrazione italiana. Stack: Python, Azure OpenAI, LangChain/LangGraph, Weaviate, PostgreSQL, FastAPI, Docker.

Motore di ricerca ibrido per l’assistenza ai bandi su scala nazionale — 101.000 query in produzione in 6 mesi, latenza end-to-end media di 2,3 s

Progettato e costruito da zero come tool di retrieval centrale di un chatbot distribuito a livello nazionale sui bandi pubblici italiani. Estrazione di entità basata su LLM con fallback deterministico, espansione relazionale su dizionari curati a mano (gerarchia geografica ISTAT, equivalenze dei titoli di studio, tassonomie istituzionali) dichiarati come regole di business in PostgreSQL. Il filtraggio ibrido combina match esatto, similarità trigram e retrieval denso; esposto come servizio FastAPI e registrato come tool dell’agente. Tasso di difetti nell’ordine di una segnalazione cliente ogni diverse settimane di traffico reale; suite di regressione interna di diverse centinaia di query annotate con tasso di superamento del 97%. Il motore di ricerca permette di scalare ad un numero elevato di bandi (attualmente circa 1000 tra aperti e non) senza alcuna degradazione di latenza, grazie al disaccoppiamento tra layer semantico di entity extraction (capire cosa vuole l’utente non diventa più difficile al crescere del numero di bandi) e query trigram+indici tradizionali sul layer dati Postgres.

Framework di valutazione comportamentale e governance per sistemi LLM agentici

Valutatore task-oriented costruito end-to-end (PostgreSQL, Python, worker FastAPI, Docker, CLI shell). Scheduler basato su DAG con regole di dipendenza dichiarate in PostgreSQL; i worker interrogano una funzione di coda che risolve il DAG implicito al momento del dispatch, permettendo di regolare lo scaling (più o meno task in contemporanea) rispettando le interdipendenze e gli ordinamenti tra task collegati. LLM-as-a-judge con valutazione multi-rubrica specifica per task su tipi eterogenei: verifica con pseudo-ground-truth, conversazioni multi-turno con cambio di scope dinamico, controlli sul comportamento del motore di ricerca, test di qualità delle collezioni di embedding. Le probe di verifica dell’uso dei tool impongono un contratto di tool desiderato per ogni turno e segnalano le risposte che vengono prodotte senza invocare il corrispondente tool di retrieval.

Suite di probe comportamentali: 167 scenari avversariali multi-turno che coprono resistenza a prompt injection e jailbreak, protezione dei confini informativi, equità e non discriminazione, integrità temporale, applicazione della policy linguistica, resilienza agli abusi e recupero della baseline dopo l’attacco. Tassonomia auto-progettata, derivata dalle interazioni in produzione.

Server MCP unificato per la composizione dei tool dell’agente

Ho consolidato tool frammentati per singolo caso d’uso in un unico server MCP interno (STDIO), esponendo i tool dell’agente come composizioni di un insieme di primitive riutilizzabili (operazioni di memoria; operazioni di retrieval: ricerca semantica, filtro esatto sui metadati, scoperta dei metadati). Tool dichiarati in configurazione YAML, non in codice: nuovi tool dell’agente vengono rilasciati senza toccare la codebase.

CSI-Piemonte — Senior Business Analyst — Cuneo, Italia

set 2022 – set 2024

Analista sulle componenti geospaziali di sistemi IT regionali che amministrano oltre 1 miliardo di € di fondi UE/nazionali/regionali. Ho portato la regione sopra le soglie UE di geolocalizzazione, evitando il disimpegno parziale dei fondi. Analisi funzionale e tecnica, testing e reportistica quantitativa per il Sistema Integrato di Gestione e Controllo (SIGC) e i relativi requisiti di statistica finanziaria UE.

aizoOn Technology Consulting — Business Data Analyst — Cuneo, Italia

nov 2016 – set 2022

Analisi funzionale e sviluppo PL/SQL (Oracle 11, incluso Oracle Spatial) per clienti del settore pubblico. Progettazione di casi d’uso, sviluppo e tuning di stored procedure, testing del software e reportistica basata su SQL per funzionari statali e autorità di regolamentazione UE.

Progetti personali

Assistente vocale AI — Python, FastAPI, OpenAI, Silero VAD, Twilio, React Native; VPS Hetzner — GitHub

Progetto come unico sviluppatore end-to-end di un agente telefonico in lingua italiana che risponde alle chiamate al posto dell’utente, dialoga con il chiamante in linguaggio naturale e modula il proprio comportamento congedandosi in modo educato ma asciutto dai chiamanti con pattern da spam (la valutazione se “spam” deriva dal proprio giudizio e dai temi segnalati dall’utente). Notifiche in tempo reale sul contenuto della conversazione in corso vengono trasmesse a un’app mobile abbinata, dove l’utente può lasciar proseguire l’agente, prenderne il posto o riattaccare; dopo la chiamata partono trascrizione, classificazione ed estrazione di entità, e azioni strutturate come eventi del calendario che vengono proposti per l’approvazione dell’utente. Prevede due motori di conversazione in streaming intercambiabili (OpenAI Realtime più naturale e costoso vs. pipeline STT+LLM+TTS personalizzata circa 4x meno costosa) dietro un’interfaccia unificata. Trasparenza richiesta dall’AI Act europeo applicata nel saluto e al gate audio; conservazione dell’audio per 7 giorni conforme al GDPR. Uso di immagine Docker irrobustita (container non-root, filesystem in sola lettura), rate limiting Redis multilivello, CI/CD orientata alla sicurezza (Bandit, Semgrep, Safety, Trufflehog, Trivy).

Pubblicazioni e scritti

  • Camilla, l’assistente AI che sfida la burocrazia nella PA — agendadigitale.eu, aprile 2026 — Scelte di architettura e governance dietro il chatbot nazionale per la PA: retrieval ibrido, pipeline di valutazione automatizzate, metodologia LLM-as-a-judge.
  • [In uscita] Estensibilità architetturale degli assistenti AI tramite server MCP interni — agendadigitale.eu
  • [In stesura] Red-teaming e valutazione comportamentale di sistemi di AI agentica in contesti regolamentati — agendadigitale.eu
  • Optimal Control of an Ecogenetic Model — International Journal of Applied and Computational Mathematics, 2017 — Articolo peer-reviewed co-firmato.

Formazione

Georgia Institute of Technology — MSc Computer Science, specializzazione in ML — ago 2024 – apr 2027 (in corso) Media 4.0 su 6/10 corsi completati. Completati: Machine Learning, Artificial Intelligence, Knowledge-Based AI, AI for Robotics, Ethics in AI, Human-Computer Interaction. In corso: Natural Language Processing. Pianificati: Deep Learning, Reinforcement Learning, Graduate Algorithms.

Università degli Studi di Torino — MSc in Matematica — 2014–2016 Voto finale: 110L/110 e menzione. Tesi: Levy Processes in Finance.

Università degli Studi di Torino — BSc in Matematica — 2010–2014

Conservatorio “G. Verdi” di Torino — Diploma in Chitarra Classica — 2001–2008

Lingue: italiano (madrelingua), inglese (C2 — IELTS Academic Band 8.5, gennaio 2024).