Metis può imparare dagli errori delle previsioni soltanto se esiste una memoria affidabile da cui imparare.

Ma quella memoria non nasce automaticamente.

Prima bisogna conservare ciò che era stato realmente previsto, aspettare che arrivi il momento previsto, osservare ciò che è accaduto, validare la situazione reale e infine calcolare la distanza tra previsione e realtà.

Solo dopo tutti questi passaggi una vecchia previsione può trasformarsi in esperienza utilizzabile.

Questo è il ciclo che permette a Meteo Gesualdo di costruire progressivamente lo storico di apprendimento utilizzato da Metis.

Per imparare bisogna prima ricordare

Una previsione meteorologica cambia continuamente.

Ogni nuova esecuzione della pipeline aggiorna l’orizzonte futuro utilizzando informazioni più recenti.

Se volessimo valutare oggi ciò che il sistema prevedeva ieri per una determinata ora, non potremmo limitarci a interrogare la previsione attuale.

Quella previsione è già cambiata.

Per misurare realmente un errore bisogna quindi conservare una copia del risultato nel momento in cui viene prodotto.

È qui che entra in gioco lo Snapshot.

Lo Snapshot congela una parte della previsione prima che la realtà sia conosciuta.

In questo modo, quando l’ora prevista sarà trascorsa, potremo confrontare ciò che il sistema sapeva allora con ciò che è realmente successo.

Lo Snapshot non ricostruisce la previsione

Un punto importante è che il sistema di Snapshot non esegue nuovamente Vertumno, Lira, Merge o Metis.

La previsione è già stata costruita dalla pipeline.

Efesto ha già ricevuto il risultato canonico di Metis e ha preparato la propria vista tecnica.

Lo Snapshot utilizza proprio quella rappresentazione.

Non cerca di indovinare quale fosse stato il risultato precedente e non ricostruisce retroattivamente la decisione.

Conserva ciò che Forecast aveva realmente prodotto.

Non serve salvare ogni ora di ogni generazione

La pipeline può produrre molte previsioni nel corso della giornata.

Salvare indiscriminatamente ogni singola fascia di ogni generazione creerebbe una quantità enorme di dati, spesso molto ridondanti.

Per questo Meteo Gesualdo utilizza una strategia di campionamento dello storico.

Vengono selezionate previsioni distribuite lungo l’orizzonte, combinando lead vicini, intermedi e più lontani.

Una parte della selezione rimane stabile per garantire continuità nel tempo, mentre un’altra permette di distribuire gli esempi anche su zone differenti dell’orizzonte previsionale.

Lo scopo è ottenere uno storico che non rappresenti soltanto il brevissimo periodo o soltanto i giorni più lontani.

Metis deve poter imparare come cambia l’errore lungo tutta la previsione.

Che cosa viene conservato

Per imparare non basta ricordare che il sistema aveva previsto, per esempio, “nuvoloso”.

Due previsioni con la stessa classificazione possono essere nate da situazioni completamente differenti.

Lo Snapshot conserva quindi molte informazioni che descrivono il risultato e il contesto nel quale è stato prodotto.

Tra queste possono rientrare:

• fenomeno meteorologico principale;
• famiglia meteorologica;
• fenomeni secondari;
• confidenza;
• distribuzioni probabilistiche;
• temperatura prevista;
• umidità prevista;
• pressione prevista;
• vento e raffiche;
• precipitazioni;
• punto di rugiada;
• direzione del vento;
• radiazione solare;
• indice UV;
• distanza temporale della previsione.

Ma viene conservato anche parte del contesto della fusione.

Per esempio, se Vertumno e Lira erano disponibili, quale confidenza avevano, quanto erano concordi e quali valori avevano contribuito alla previsione finale.

Questo permette in futuro di confrontare non soltanto due risultati meteorologici, ma anche due modi simili di arrivare a quei risultati.

All’inizio lo Snapshot non sa ancora se aveva ragione

Quando una previsione viene salvata nello storico, la realtà futura non è ancora disponibile.

Per questo il nuovo esempio entra inizialmente in uno stato di attesa.

Contiene la previsione, ma non contiene ancora il giudizio finale.

È importante che rimanga così.

Metis non deve imparare da una previsione soltanto perché è stata salvata.

Deve imparare da una previsione che sia stata successivamente confrontata con la realtà e validata.

La realtà deve prima accadere

La validazione di una fascia non può avvenire mentre quell’ora è ancora in corso.

Per sapere realmente cosa è successo bisogna aspettare che l’intero intervallo temporale sia concluso.

Soltanto a quel punto la stazione possiede tutti i campioni necessari per ricostruire la situazione osservata durante quell’ora.

Questo evita di giudicare una previsione utilizzando una realtà ancora incompleta.

Una fascia iniziata serena potrebbe, per esempio, terminare con un rapido passaggio nuvoloso o con precipitazioni.

La validazione deve rappresentare l’intera ora, non soltanto i suoi primi minuti.

La stazione ricostruisce la realtà fisica

Una volta conclusa la fascia, il sistema può utilizzare i dati reali raccolti dalla stazione meteorologica.

Durante un’ora vengono registrati numerosi campioni.

Da questi dati vengono ricavati automaticamente valori rappresentativi della situazione realmente osservata.

Tra le grandezze elaborate rientrano:

• temperatura;
• umidità relativa;
• pressione atmosferica;
• punto di rugiada;
• vento medio;
• raffica massima;
• direzione del vento;
• precipitazioni accumulate;
• intensità della pioggia;
• radiazione solare;
• indice UV.

Per alcune grandezze non basta una semplice media.

La direzione del vento, per esempio, è una quantità circolare e deve essere trattata in maniera coerente con la velocità osservata.

Le precipitazioni devono invece essere ricostruite dalla variazione dell’accumulo registrato durante l’intervallo.

La realtà fisica utilizzata per giudicare la previsione nasce quindi direttamente dalle osservazioni della stazione.

Ma una stazione non può descrivere tutto da sola

I sensori sono molto efficaci nel misurare grandezze fisiche.

Non sono però sempre sufficienti per stabilire automaticamente quale fenomeno meteorologico abbia realmente caratterizzato una determinata fascia.

Una temperatura e un’umidità non possono dirci con certezza se il cielo fosse sereno, con nubi sparse, parzialmente nuvoloso o coperto.

Una diminuzione della radiazione può essere causata da nubi, ma deve essere interpretata nel contesto reale.

Per questo la validazione di Meteo Gesualdo comprende anche una parte manuale.

La validazione meteorologica è umana

Quando una fascia viene validata, il fenomeno principale realmente osservato viene indicato manualmente.

Possono inoltre essere selezionati eventuali fenomeni secondari realmente presenti.

La validazione combina quindi due mondi:

• la stazione misura automaticamente la realtà fisica;
• l’osservazione umana interpreta la realtà meteorologica.

Questa separazione è importante anche dal punto di vista dell’apprendimento.

Metis non viene addestrato semplicemente utilizzando classificazioni generate automaticamente dallo stesso sistema che dovrà poi correggere.

La memoria nasce dopo che la previsione è stata confrontata con dati realmente osservati e con una classificazione meteorologica verificata separatamente.

Primario e secondari vengono valutati separatamente

Il fenomeno principale descrive la condizione meteorologica dominante della fascia.

I fenomeni secondari aggiungono invece informazioni complementari, come vento, nebbia, grandine o particolari condizioni termiche.

Durante la validazione è possibile giudicare anche questi elementi.

Esistono però situazioni nelle quali la valutazione dei secondari non è sufficientemente sicura.

In questi casi possono essere esclusi dal confronto senza impedire la validazione del resto della previsione.

Questo evita di trasformare un’incertezza umana su un dettaglio secondario in un falso errore per il sistema.

Una sola realtà può giudicare molte previsioni

Questa è una delle caratteristiche più interessanti dello storico.

Immaginiamo la fascia delle 15:00 di un determinato giorno.

Quell’ora può essere stata prevista quando mancava soltanto un’ora.

Ma può anche essere comparsa in una previsione prodotta la mattina precedente.

Oppure due giorni prima.

Quando arrivano finalmente le 15:00, però, la realtà è una sola.

La stessa osservazione reale può quindi essere utilizzata per confrontare tutte le previsioni conservate che puntavano a quella fascia.

Una realtà, molte vecchie previsioni.

Questo permette di studiare in maniera molto più precisa come cambia l’errore con il lead.

Una previsione a +2 ore non è la stessa esperienza di una a +48

Due Snapshot possono riferirsi esattamente alla stessa ora reale ma essere stati prodotti in momenti molto differenti.

Dal punto di vista dell’apprendimento sono quindi due esempi distinti.

Una previsione molto vicina beneficia di osservazioni recenti e di una maggiore conoscenza dello stato atmosferico corrente.

Una previsione molto più lontana deve invece affrontare un’incertezza maggiore.

Registrare entrambe permette a Metis di imparare non soltanto che tipo di errore è stato commesso, ma anche a quale distanza temporale tende a comparire.

Dalla validazione al calcolo degli errori

Una volta definita la realtà osservata, il confronto può essere eseguito automaticamente.

Il server dispone da una parte della vecchia previsione salvata dallo Snapshot e dall’altra dei valori reali e della classificazione meteorologica validata.

Può quindi calcolare diversi tipi di errore.

Non esiste soltanto un generico giudizio “giusto” oppure “sbagliato”.

Possono essere misurati separatamente:

• errore del fenomeno principale;
• errore della famiglia meteorologica;
• errore dei fenomeni secondari;
• errore della confidenza;
• errore della temperatura;
• errore dell’umidità;
• errore della pressione;
• errore del vento;
• errore delle raffiche;
• errore delle precipitazioni;
• errore del punto di rugiada;
• errore della direzione del vento;
• errore della radiazione solare e degli altri valori disponibili.

Il sistema può quindi costruire un quadro molto più ricco rispetto a una semplice percentuale di previsioni corrette.

Non tutti gli errori sono sempre calcolabili

Anche il confronto deve rispettare il significato fisico dei dati.

Alcune grandezze possono non essere disponibili.

La radiazione solare, per esempio, ha senso principalmente durante le ore diurne.

La direzione del vento diventa poco significativa quando il vento è quasi assente.

Se un determinato canale non possiede informazioni sufficienti, non deve essere trasformato artificialmente in un errore.

Il sistema può escluderlo dal calcolo e ricalibrare il confronto sugli elementi realmente disponibili.

Meglio un errore parziale ma corretto che un punteggio completo costruito su dati che non hanno significato.

Anche la qualità della realtà deve essere misurata

Una previsione può essere conservata perfettamente, ma se la realtà utilizzata per giudicarla è poco rappresentativa, anche il risultato della validazione diventa meno affidabile.

Per questo Meteo Gesualdo considera anche il numero di campioni realmente disponibili per quella fascia.

Una normale ora di funzionamento della stazione contiene numerose osservazioni e permette di ricostruire bene la situazione.

Se invece la raccolta dati è stata parziale, il quadro diventa meno completo.

La pipeline distingue quindi tra una validazione ordinaria e una validazione effettuata con quantità inferiori di dati.

La validazione forzata non vale quanto una completa

Quando esistono comunque osservazioni reali ma la loro quantità è inferiore a quella considerata ideale, la fascia può ancora essere validata manualmente.

Il sistema, però, non tratta quell’esempio come se avesse la stessa qualità di una fascia completamente osservata.

Viene applicato automaticamente un declassamento della memoria.

Più le osservazioni sono scarse, minore sarà l’autorità futura dell’esempio.

Questo permette di non buttare via necessariamente un’informazione potenzialmente utile, ma allo stesso tempo impedisce che un esempio costruito su pochi dati possa avere lo stesso peso di una validazione molto più robusta.

Se non esiste realtà, non si inventa

Esiste poi il caso limite: nessun campione disponibile.

In quella situazione la previsione non può essere validata in maniera credibile.

Non esistono dati reali sufficienti per stabilire che cosa sia realmente accaduto dal punto di vista fisico.

La soluzione non è ricostruire artificialmente la realtà utilizzando altri modelli o la stessa previsione.

Quella memoria non viene utilizzata.

È un principio semplice ma importante: lo storico deve essere costruito soltanto quando esiste un riferimento reale con cui effettuare il confronto.

Validato non significa eterno

Una volta completato il confronto, lo Snapshot può diventare parte dello storico validato.

Ma questo non significa che debba rimanere per sempre un esempio perfettamente rappresentativo.

La pipeline evolve.

Vertumno cambia.

Lira cambia.

Efesto cambia.

Metis stesso cambia.

Una previsione prodotta molto tempo prima può quindi rappresentare il comportamento di una generazione del sistema ormai differente da quella corrente.

Per questo la qualità della memoria può essere rivalutata e declassata nel tempo.

La memoria può perdere autorità

Un vecchio esempio può continuare a contenere informazioni utili senza essere trattato come perfettamente equivalente a una previsione prodotta dalla pipeline attuale.

Il sistema può quindi ridurne progressivamente l’autorità.

Se un esempio diventa troppo distante dal comportamento attuale del KNN, può arrivare a non essere più considerato rappresentativo.

In questo modo lo storico non diventa un archivio immobile.

È una memoria che può invecchiare insieme alla pipeline.

Lo storico precedente non viene necessariamente buttato via

L’evoluzione tecnica crea però un problema opposto.

Eliminare tutto lo storico ogni volta che cambia una parte della pipeline significherebbe ricominciare continuamente da zero.

Per evitare questo spreco, Metis può mantenere compatibilità con esempi appartenenti a generazioni precedenti quando questi possiedono ancora informazioni sufficientemente confrontabili.

La memoria storica può quindi essere collegata all’architettura più recente attraverso meccanismi di compatibilità.

Non viene considerata automaticamente identica ai dati nativi attuali.

Ma non viene nemmeno cancellata soltanto perché appartiene al passato.

Lo storico non contiene soltanto “errori”

Parlare di apprendimento dagli errori potrebbe far pensare che vengano conservate soltanto le previsioni sbagliate.

Non è così.

Anche una previsione molto precisa è un’esperienza.

Se in una determinata situazione il Merge aveva prodotto un risultato corretto e Metis non aveva motivo di modificarlo, quel caso può essere utile in futuro.

Può insegnare che, in un contesto simile, non intervenire era stata la scelta corretta.

La memoria registra quindi sia gli errori sia le conferme.

La previsione diventa un esempio strutturato

Dopo la validazione una vecchia previsione contiene ormai tre livelli di informazione.

Il primo è ciò che la pipeline aveva previsto.

Il secondo è ciò che è realmente accaduto.

Il terzo è la differenza tra i due.

Possiamo quindi immaginare ogni elemento della memoria come:

contesto previsionale → previsione → realtà → errore.

È questa struttura che rende lo storico realmente utile a Metis.

Un semplice archivio delle condizioni meteorologiche passate non sarebbe sufficiente per capire come la pipeline tende a sbagliare.

Lo Snapshot conserva anche il contesto delle sorgenti

Un altro elemento importante è sapere come fosse nata la previsione.

Due errori apparentemente uguali possono avere cause molto differenti.

In un caso Vertumno e Lira potevano essere perfettamente concordi.

In un altro potevano essere fortemente in disaccordo e il Merge aver costruito un compromesso.

Oppure una delle sorgenti poteva avere una confidenza molto più bassa dell’altra.

Salvare queste informazioni permette a Metis di distinguere situazioni che, osservando soltanto il risultato finale, sembrerebbero identiche.

La memoria cresce previsione dopo previsione

Ogni nuova generazione della pipeline può contribuire allo storico.

Alcune fasce vengono selezionate.

Vengono congelate.

La realtà arriva.

La stazione raccoglie i dati.

La situazione viene validata.

Gli errori vengono calcolati.

E un nuovo gruppo di esperienze può entrare nella memoria.

Il processo si ripete continuamente.

Questo significa che Metis non riceve un dataset costruito una volta per tutte.

La sua memoria nasce dall’attività quotidiana della stessa pipeline.

Più giorni significano più scenari

All’inizio della vita di un sistema del genere lo storico è inevitabilmente povero.

Le giornate possono essere molto simili tra loro.

Alcuni fenomeni possono non essersi ancora verificati.

Determinati periodi dell’anno possono essere completamente assenti.

Con il passare dei mesi aumentano invece le configurazioni rappresentate.

Arrivano stagioni differenti.

Arrivano perturbazioni, ondate di calore, temporali, periodi stabili, freddo, vento e situazioni meno frequenti.

La memoria può quindi diventare progressivamente più varia.

Ma la quantità, da sola, non è sufficiente.

Uno storico grande non è necessariamente uno storico buono

Se accumulassimo milioni di esempi poco affidabili, Metis avrebbe molta memoria ma poca conoscenza realmente utile.

Per questo il processo di costruzione dello storico cerca di preservare tre caratteristiche:

• rappresentatività;
• qualità della validazione;
• compatibilità con la pipeline corrente.

Lo scopo non è poter dire che il database contiene tantissime righe.

Lo scopo è fare in modo che, quando Metis trova un vicino, quel vicino rappresenti davvero un’esperienza dalla quale valga la pena imparare.

Learning e analisi del KNN sono due cose differenti

Accanto allo storico di apprendimento Meteo Gesualdo raccoglie anche dati dedicati all’osservazione del comportamento di Metis.

Questi due sistemi non devono essere confusi.

Lo storico validato contiene le esperienze che possono essere utilizzate dal KNN.

Le statistiche di analisi servono invece a capire come Metis stia utilizzando quella memoria.

Possono registrare, per esempio, quanti vicini siano stati trovati, quanti siano realmente utilizzabili, quanto siano distanti, quali campi siano stati modificati e quale motivazione abbia accompagnato il risultato.

Uno strumento costruisce la memoria.

L’altro osserva chi la utilizza.

Misurare anche chi impara

Questa separazione rende possibile studiare il KNN nel tempo.

Si può osservare in quali lead trova più spesso memoria utilizzabile.

Si può verificare quanto frequentemente confermi la previsione.

Si possono analizzare le rifiniture.

Si possono individuare situazioni nelle quali i vicini risultano troppo distanti.

Si può capire quali variabili ricevono più spesso una correzione.

Queste informazioni non vengono utilizzate per inventare automaticamente nuove etichette reali.

Servono a rendere osservabile il comportamento del sistema.

Il valore della validazione manuale

Il ciclo di apprendimento richiede quindi una parte che non può essere completamente automatizzata.

La stazione raccoglie i dati.

Il server calcola medie, estremi, precipitazioni ed errori.

Lo Snapshot conserva automaticamente le previsioni.

Ma la classificazione meteorologica reale viene controllata manualmente.

Questo rende il processo più impegnativo, ma permette anche di costruire uno storico nel quale il significato meteorologico della fascia non dipende esclusivamente dagli stessi algoritmi che vengono poi valutati.

La validazione diventa quindi una specie di ponte tra l’automazione e l’osservazione reale.

Ogni validazione insegna a più generazioni della stessa previsione

Una delle conseguenze più interessanti di questo sistema è che il lavoro manuale non serve soltanto a giudicare una singola riga.

Quando viene validata una determinata ora reale, quella stessa osservazione può chiudere contemporaneamente numerosi Snapshot prodotti a lead differenti.

Un’unica verifica della realtà può quindi generare più esempi di apprendimento.

Uno può raccontare come la pipeline si comportava molto vicino all’evento.

Un altro come lo vedeva molte ore prima.

Un altro ancora come lo aveva previsto da più lontano.

Questo aumenta enormemente il valore informativo di ogni fascia validata.

La memoria restituisce qualcosa alla previsione successiva

Quando una nuova previsione arriva a Metis, tutto questo lavoro compiuto in precedenza diventa finalmente utile.

Il KNN riceve il caso corrente.

Cerca nello storico situazioni compatibili.

Valuta la qualità degli esempi.

Studia gli errori che erano stati commessi.

Decide se esiste abbastanza evidenza per intervenire.

La previsione di oggi utilizza quindi l’esperienza costruita dalle previsioni di ieri.

Il ciclo si chiude e ricomincia

Dopo Metis la previsione canonica torna a Efesto.

Forecast la prepara per la pubblicazione.

L’utente la vede sul sito o nell’app.

Ma contemporaneamente alcune fasce vengono nuovamente conservate.

Il futuro diventa presente.

Il presente diventa osservazione.

L’osservazione diventa validazione.

La validazione diventa errore misurato.

L’errore diventa memoria.

E la memoria torna dentro Metis.

La pipeline si alimenta quindi della propria storia.

Una memoria costruita, non inventata

Lo storico di apprendimento di Meteo Gesualdo non nasce da esempi sintetici creati per addestrare il sistema.

Nasce dall’attività reale della pipeline.

Ogni esempio è stato prima una vera previsione.

È stato salvato prima di conoscere il futuro.

Ha aspettato che quel futuro arrivasse.

È stato confrontato con i dati raccolti dalla stazione.

È stato accompagnato da una validazione meteorologica.

E solo allora è diventato memoria.

È questa sequenza a dare significato allo storico utilizzato da Metis.

Dalla previsione all’esperienza

Con questo ultimo passaggio si completa il percorso della nuova pipeline di Meteo Gesualdo.

Vertumno costruisce una visione locale partendo dal territorio.

Lira interpreta ciò che raccontano i modelli meteorologici esterni.

Efesto fonde le due sorgenti e consegna il risultato a Metis.

Metis utilizza la memoria validata per capire se l’esperienza passata possa migliorare la previsione corrente.

Efesto riceve il risultato canonico e lo prepara per la pubblicazione.

Snapshot conserva ciò che è stato previsto.

La stazione misura ciò che è realmente accaduto.

La validazione assegna il significato meteorologico della realtà.

Il server misura gli errori.

E quella vecchia previsione entra nello storico.

Il punto di arrivo diventa quindi il punto di partenza del ciclo successivo.

Una previsione nasce per descrivere il futuro.

Ma, quando quel futuro diventa passato, può trasformarsi in esperienza per prevedere meglio il prossimo.