Aree di competenza / Dato, applicazione ed esperienza / 3.3
Data, Analytics & AI
Dal dato grezzo alla decisione.
Il dato promette molto, e la delusione nasce quasi sempre dallo stesso equivoco: confondere il capire con il prevedere. Sapere con certezza che cosa è successo, perché e con quale regolarità è già un risultato prezioso. Chiedere a un modello di decidere al posto di una persona è un passo diverso, che ha senso solo quando il primo è solido.
Per questo cominciamo dalla parte meno affascinante: la qualità delle fonti. Su questa base costruiamo analisi e cruscotti su strumenti aperti. E sappiamo portare ciò che viene dopo: la tracciabilità di ogni passaggio, una definizione condivisa degli indicatori, così che due reparti non leggano due numeri diversi per la stessa cosa, e, quando il terreno è pronto, modelli di apprendimento che restano spiegabili e sotto supervisione umana.
Un’industria può partire dal dato di processo che già raccoglie e non usa; un gestore di rete dalla lettura degli eventi registrati sugli impianti. L’intelligenza artificiale amplifica ciò che trova: il nostro compito è che trovi qualcosa che valga la pena amplificare.
Quattro gruppi di competenza
Ogni gruppo ha un dettaglio tecnico per chi lo vuole.
- 3.3.a
Piattaforme e database
Dove il dato vive, scelto per come verrà usato.
Conserviamo il dato su piattaforme aperte scelte in base a come verrà interrogato, dal database relazionale a quello per le misure d’impianto. La scelta giusta evita migrazioni costose dopo.
Dettaglio tecnico
Il gruppo comprende le piattaforme di archiviazione del dato. In produzione: PostgreSQL, database time-series TimescaleDB e InfluxDB. In progetto: database documentali e chiave-valore, data warehouse. Lakehouse con Delta Lake e Apache Iceberg e vector database sono seguiti come sviluppi. Il database time-series è richiamato nel dominio 1.2.
- 3.3.b
Integrazione, qualità e governance del dato
Di chi è il dato, e da dove viene.
Misuriamo la qualità del dato prima di usarlo, e sappiamo costruire pipeline e regole che ne tracciano origine e responsabilità. Senza queste basi, nessuna analisi è affidabile.
Dettaglio tecnico
Il gruppo comprende il movimento e la responsabilità del dato. In produzione: data quality e profiling. In progetto: pipeline ETL ed ELT con Airflow, dbt e NiFi, change data capture, elaborazione a flusso con Kafka Streams e Flink, data governance e catalogo dati, data lineage.
- 3.3.c
Analytics e machine learning
Dalla metrica condivisa al modello in esercizio.
Costruiamo cruscotti su strumenti aperti, con metriche definite una sola volta per tutti. E sappiamo portare modelli di apprendimento governati, quando i dati sono pronti.
Dettaglio tecnico
Il gruppo comprende analisi e apprendimento automatico. In produzione: business intelligence con Metabase e Superset su stack open. In progetto: semantic layer per la definizione condivisa delle metriche, machine learning classico con scikit-learn, deep learning con PyTorch e TensorFlow, MLOps con MLflow e model registry, rilevazione del drift.
- 3.3.d
AI applicata e responsabile
Intelligenza artificiale che si può spiegare.
Sappiamo portare in progetto applicazioni di AI su immagini e documenti, spiegabili e sotto supervisione umana. Partiamo sempre da dati affidabili e dal rispetto delle regole.
Dettaglio tecnico
Il gruppo comprende l’AI applicata e le sue garanzie, portate in progetto: computer vision, NLP ed estrazione da documenti, explainability e human-in-the-loop, anonimizzazione, pseudonimizzazione e dati sintetici. LLM self-hosted, RAG, federated learning e classificazione del rischio secondo l’AI Act sono seguiti come ambiti in evoluzione. Nessun blocco è presidiato.
Per il lettore tecnico
Il dato promette due cose diverse: la conoscenza di ciò che è accaduto e l’automazione del giudizio su ciò che accadrà. La seconda non è la prosecuzione naturale della prima, e un’organizzazione che non sa ancora con certezza che cosa è successo ieri non è pronta a far decidere un modello su che cosa fare domani. Il dominio comincia sempre dalla parte meno spettacolare: qualità della fonte, tracciabilità del percorso, definizione condivisa di ogni indicatore.
Il dominio lavora su quattro gruppi. Le piattaforme e i database comprendono in produzione PostgreSQL e database time-series TimescaleDB e InfluxDB, e in progetto database documentali e data warehouse. L’integrazione, la qualità e la governance comprendono in produzione profilazione e controllo della qualità del dato, e in progetto pipeline ETL/ELT con Airflow, dbt e NiFi, change data capture, elaborazione a flusso, catalogo dati e lineage. Gli analytics e il machine learning comprendono in produzione la business intelligence con Metabase e Superset, e in progetto semantic layer per la definizione condivisa delle metriche, machine learning classico e deep learning, MLOps con model registry e rilevazione del drift. L’AI applicata e responsabile è portata in progetto: computer vision, estrazione da documenti, spiegabilità e supervisione umana, anonimizzazione e dati sintetici. Modelli linguistici on-premise, RAG e classificazione del rischio secondo l’AI Act sono seguiti come ambiti in evoluzione.
Il principio progettuale è che nessun modello va in esercizio su dati di cui nessuno risponde: prima la fonte e la sua qualità, poi l’analisi, infine, se ha senso, l’automazione.
Il dominio riceve il dato di campo dal dominio 1.2 e il dato gestionale dal dominio 3.2. Governance del dato e obblighi dell’AI Act si coordinano con il dominio 4.2; le tecnologie di AI emergenti si valutano con il dominio 5.1. È un moltiplicatore: il suo valore si esprime dentro un’architettura.
Parliamo del vostro sistema
Raccontateci il requisito di servizio: che cosa deve funzionare, entro quanto, e che cosa succede quando qualcosa si rompe. La tecnologia la scegliamo dopo.