Quando una previsione meteorologica viene prodotta, il modo più semplice per valutarla è aspettare e vedere cosa succede davvero.

Se aveva previsto cielo sereno e arriva una copertura nuvolosa importante, sappiamo che qualcosa non ha funzionato.

Se aveva previsto una temperatura troppo alta, possiamo misurare di quanto.

Se il vento è stato sottostimato, anche quell’errore può essere registrato.

La domanda interessante arriva dopo:

possiamo utilizzare quegli errori per migliorare una previsione futura?

È esattamente il problema affrontato da Metis 7, il componente KNN della nuova pipeline di Meteo Gesualdo.

Metis entra in gioco dopo la fusione

Prima di arrivare a Metis, la pipeline ha già svolto una parte importante del proprio lavoro.

Vertumno ha costruito la previsione locale partendo dalla stazione e dallo storico di Gesualdo.

Lira ha interpretato i modelli meteorologici esterni.

Efesto, attraverso il Merge, ha confrontato le due sorgenti e ha costruito una previsione fusa.

Metis riceve proprio questo risultato.

Non riparte dai sensori.

Non sostituisce Vertumno.

Non interroga nuovamente i modelli.

Non esegue una seconda fusione.

Il suo compito è diverso:

confrontare la situazione corrente con l’esperienza accumulata dalla pipeline e valutare se quella memoria suggerisca qualcosa di utile.

Che cos’è un KNN?

KNN significa K-Nearest Neighbors, cioè “K vicini più prossimi”.

Il principio generale è relativamente intuitivo.

Se dobbiamo analizzare una nuova situazione, possiamo cercare nello storico i casi che le assomigliano maggiormente.

In meteorologia, però, la parola “simile” nasconde una difficoltà enorme.

Due situazioni potrebbero avere temperature quasi identiche ma pressioni molto diverse.

Potrebbero avere lo stesso fenomeno principale ma essere state previste a distanze temporali differenti.

Potrebbero mostrare valori fisici simili ma nascere da un rapporto completamente diverso tra Vertumno e Lira.

Per questo Metis non può limitarsi a cercare qualche vecchia giornata con valori apparentemente vicini.

Deve stabilire quali aspetti rendano realmente confrontabili due previsioni.

La memoria di Metis non è il semplice archivio meteo

Questo punto è fondamentale.

Vertumno utilizza anche lo storico della stazione per comprendere come tende a evolvere una determinata situazione locale.

Metis utilizza invece una memoria differente.

La sua base di esperienza è formata dalle previsioni che sono state successivamente validate confrontandole con ciò che è realmente accaduto.

Quindi Metis non cerca semplicemente:

“Quando abbiamo avuto un tempo simile?”

Cerca piuttosto:

“Quando la pipeline aveva prodotto una previsione simile, quale errore aveva commesso rispetto alla realtà?”

È questa differenza a trasformare lo storico in uno strumento di correzione.

Ricordare la previsione prima di conoscere il risultato

Per imparare dagli errori serve una condizione essenziale: bisogna ricordare esattamente ciò che era stato previsto prima che arrivasse la realtà.

Se una previsione potesse essere ricostruita o modificata dopo aver visto cosa è successo, il confronto perderebbe valore.

Per questo la pipeline conserva determinate previsioni attraverso il sistema di Snapshot.

Quando l’ora prevista è trascorsa, lo Snapshot può essere confrontato con le osservazioni reali della stazione e con la validazione meteorologica.

Da quel confronto vengono prodotti errori e informazioni che possono entrare nello storico utilizzabile da Metis.

Il risultato è una memoria composta da coppie concettualmente molto semplici:

ciò che avevamo previsto → ciò che è realmente accaduto.

Metis non cerca soltanto il risultato finale

Una previsione contiene molte più informazioni di un semplice simbolo meteorologico.

Per capire se due casi siano davvero confrontabili, Metis può considerare diversi aspetti del contesto in cui la previsione è stata costruita.

Tra questi rientrano, ad esempio:

• i valori fisici previsti;
• le distribuzioni meteorologiche;
• il fenomeno principale;
• le famiglie meteorologiche;
• i fenomeni secondari;
• la confidenza;
• la distanza temporale della previsione;
• le informazioni provenienti dalla fusione;
• la disponibilità e la qualità delle sorgenti;
• il grado di accordo tra Vertumno e Lira;
• il contesto temporale e stagionale.

Questo permette di distinguere situazioni che superficialmente sembrerebbero uguali ma che, dal punto di vista della pipeline, sono nate in condizioni molto differenti.

Il lead fa parte della situazione

La distanza tra il momento in cui viene prodotta una previsione e l’ora a cui essa si riferisce viene indicata come lead.

Per Metis questa informazione è particolarmente importante.

Prevedere una determinata situazione un’ora prima non è equivalente a prevederla due o tre giorni prima.

Anche quando il fenomeno finale è lo stesso, la quantità di incertezza e il tipo di errore che la pipeline può commettere cambiano con la distanza temporale.

Lo storico deve quindi essere interpretato anche in funzione del lead.

Una previsione lontana nel tempo non deve necessariamente essere considerata un buon vicino di una previsione molto vicina soltanto perché temperatura e cielo sembrano simili.

La domanda più importante: come avevamo sbagliato?

Dopo aver individuato casi sufficientemente compatibili, Metis non si limita a osservare quale fosse stata la previsione precedente.

Studia soprattutto la differenza tra previsione e realtà.

In termini semplici, osserva il residuo dell’errore.

Supponiamo che in diverse situazioni simili la pipeline abbia previsto sistematicamente una temperatura leggermente superiore a quella realmente osservata.

Quel comportamento può diventare un’informazione utile.

Oppure immaginiamo che in una particolare configurazione la previsione fusa abbia avuto la tendenza a classificare il cielo come più coperto di quanto poi osservato.

Anche questo può diventare un segnale.

Metis cerca quindi di capire se nei vicini storici esista un errore sufficientemente coerente da meritare attenzione.

Un singolo caso non dovrebbe comandare il futuro

Il fatto che una vecchia previsione abbia sbagliato non significa automaticamente che la nuova debba essere corretta nello stesso modo.

L’atmosfera non si ripete mai perfettamente.

Per questo Metis lavora su un insieme di vicini e valuta quanto il segnale che emerge dalla memoria sia realmente rappresentativo.

Se i casi simili raccontano storie molto differenti, la memoria può risultare poco utile.

Se invece più esempi compatibili mostrano un comportamento coerente, l’evidenza diventa più interessante.

Il principio è quindi:

non correggere perché esiste un precedente, ma soltanto quando l’insieme dei precedenti fornisce un’indicazione abbastanza solida.

Non tutta la memoria ha la stessa qualità

Un altro aspetto centrale di Metis riguarda la qualità dello storico.

Due esempi validati non sono necessariamente equivalenti.

Una fascia può essere stata verificata con una grande quantità di dati reali della stazione.

Un’altra può essere stata validata con meno osservazioni disponibili.

Lo storico può inoltre contenere esempi appartenenti a generazioni precedenti della pipeline che devono essere interpretati con maggiore cautela rispetto ai dati nativi dell’architettura corrente.

Metis tiene quindi conto della qualità e della compatibilità della memoria.

Lo scopo non è accumulare il maggior numero possibile di righe.

È utilizzare la memoria che abbia realmente senso confrontare con il caso corrente.

Memoria utilizzabile, lontana o insufficiente

Non sempre il KNN riesce a trovare una buona base storica.

Una situazione può essere relativamente nuova.

Può appartenere a un periodo dell’anno ancora poco rappresentato nello storico.

Può presentare una combinazione di valori e fenomeni raramente osservata.

Oppure i casi disponibili possono essere troppo distanti dalla previsione corrente.

Per questo Metis distingue concettualmente situazioni nelle quali la memoria è:

• utilizzabile;
• troppo distante;
• insufficiente.

Questa distinzione è importante perché impedisce al sistema di comportarsi come se possedesse esperienza anche quando in realtà non ne ha abbastanza.

Non intervenire è una decisione

Si potrebbe pensare che un componente di machine learning sia utile soltanto quando modifica la previsione.

In realtà, per Metis, confermare il risultato può essere una decisione altrettanto importante.

Se lo storico non offre un segnale convincente, lasciare invariata la previsione prodotta dal Merge è spesso la scelta più prudente.

Il KNN non deve dimostrare di essere utile cambiando qualcosa ad ogni ciclo.

Deve intervenire soltanto quando la memoria fornisce elementi sufficienti.

Questo permette di evitare un problema comune nei sistemi correttivi: modificare una previsione già buona soltanto perché esiste tecnicamente la possibilità di farlo.

Metis non corregge necessariamente tutto insieme

La previsione meteorologica è composta da più canali.

Temperatura, umidità, pressione, vento, fenomeno principale, famiglie meteorologiche, secondari e confidenza non possiedono necessariamente la stessa qualità di memoria.

Metis valuta quindi l’evidenza in maniera differenziata.

Può esistere una memoria molto buona per la temperatura ma debole per il fenomeno principale.

Oppure la classificazione meteorologica può mostrare un errore ricorrente mentre il vento risulta già ben rappresentato.

In questi casi non sarebbe corretto trattare l’intera previsione come un blocco unico.

Metis può quindi intervenire su alcuni elementi lasciandone altri invariati.

Un esempio semplice

Immaginiamo che Efesto consegni a Metis una previsione con temperatura di poco superiore rispetto a quella che tende a verificarsi in situazioni storicamente molto simili.

Allo stesso tempo, i casi passati potrebbero mostrare che il fenomeno meteorologico principale è stato generalmente previsto bene.

Metis potrebbe avere quindi abbastanza evidenza per rifinire la temperatura ma nessun motivo per modificare la classificazione del cielo.

Questo comportamento è molto diverso da una correzione generale del tipo:

“Il caso è simile, quindi cambiamo tutta la previsione.”

L’obiettivo è utilizzare la memoria soltanto dove essa possiede realmente autorità.

Correggere i numeri senza rompere la fisica

Modificare una variabile meteorologica non è sempre un’operazione indipendente.

Temperatura, umidità e punto di rugiada sono legati tra loro.

Vento medio e raffiche devono mantenere una relazione plausibile.

Precipitazioni e classificazione meteorologica devono raccontare una storia coerente.

Per questo, dopo aver studiato i residui storici, Metis non può semplicemente sostituire valori uno alla volta senza considerare il resto della previsione.

Il risultato viene ricomposto rispettando le relazioni fisiche tra le diverse grandezze.

Solo successivamente può essere ricostruita anche la parte meteorologica.

Dai valori corretti alla nuova classificazione

Dopo l’eventuale rifinitura dei valori fisici, la previsione deve tornare a essere una descrizione meteorologica completa.

Metis rielabora quindi le informazioni per verificare se il fenomeno principale e le probabilità associate siano ancora coerenti con il risultato corretto.

Lo stesso vale per i fenomeni secondari.

Questo significa che una modifica numerica non viene lasciata isolata dal resto della previsione.

Il risultato finale deve continuare a raccontare una sola situazione atmosferica coerente.

Anche i fenomeni secondari possono essere rifiniti

Vento, nebbia, grandine, condizioni termiche particolari e altri fenomeni secondari possono fornire informazioni importanti all’utente.

Metis può analizzare anche questi canali, ma sempre secondo lo stesso principio applicato al resto della previsione:

la memoria deve essere sufficientemente rappresentativa.

Non tutti i fenomeni compaiono con la stessa frequenza.

Alcuni possono avere uno storico molto ricco.

Altri, essendo più rari, possono non avere ancora abbastanza esempi validati.

La possibilità di lasciare invariato un secondario è quindi importante quanto la possibilità di modificarlo.

La confidenza deve seguire il nuovo risultato

Se una previsione viene modificata, anche la sua confidenza deve essere interpretata correttamente.

Non avrebbe senso applicare una correzione significativa mantenendo automaticamente lo stesso livello di sicurezza precedente.

Metis può quindi ricalibrare la confidenza in funzione della qualità della memoria, della forza dell’evidenza storica e dell’entità dell’intervento applicato.

Anche qui il significato non è “probabilità assoluta che la previsione sia vera”.

La confidenza descrive quanto il sistema considera supportato il risultato che sta producendo.

Ogni fascia mantiene la propria identità

Le previsioni vengono analizzate principalmente fascia per fascia.

Questo permette a Metis di confrontare ogni ora con la memoria più adatta a quella specifica situazione.

Una giornata intera non viene quindi modificata come un unico blocco soltanto perché una sua parte assomiglia a un vecchio caso.

Ma una previsione non può nemmeno essere una collezione di ore completamente indipendenti.

Dopo la decisione su una fascia, il risultato precedente può contribuire alla valutazione della continuità della fascia successiva.

La continuità deve avere una causa

Immaginiamo una sequenza che passi rapidamente da sereno a coperto, torni sereno e poi diventi nuovamente coperto.

In meteorologia un’evoluzione rapida può certamente verificarsi.

Ma deve esserci un motivo nei dati.

Metis applica quindi controlli di continuità per evitare che una serie di correzioni indipendenti produca una traiettoria temporalmente poco credibile.

Questo non significa “smussare” automaticamente ogni cambiamento.

Un temporale, un fronte o un rapido passaggio nuvoloso possono giustificare transizioni importanti.

La continuità serve a chiedere:

“Questo cambiamento è sostenuto dalla situazione oppure nasce soltanto dalla frammentazione del calcolo?”

Metis deve spiegare cosa ha fatto

Un sistema che modifica una previsione dovrebbe essere osservabile.

Per questo Metis produce anche motivazioni associate al proprio comportamento.

Il sistema può distinguere, per esempio, una previsione confermata da una rifinita, un cambiamento del fenomeno principale da una modifica di un secondario o della confidenza.

Può inoltre registrare quando la memoria risulta insufficiente oppure quando i vicini disponibili sono troppo distanti per giustificare un intervento.

Queste informazioni non servono soltanto per mostrare qualcosa all’utente.

Servono soprattutto per poter analizzare successivamente il comportamento del KNN.

Osservare chi impara

Accanto allo storico utilizzato per il learning esiste anche un livello dedicato all’analisi del comportamento di Metis.

Il sistema può registrare informazioni come:

• qualità della memoria disponibile;
• quantità di vicini individuati;
• vicini effettivamente utilizzabili;
• distanza dei casi selezionati;
• campi rifiniti;
• probabilità modificate;
• variazioni del fenomeno principale;
• cambiamenti dei fenomeni secondari;
• variazioni della confidenza;
• motivazione dell’intervento;
• risultato finale del processo.

Queste informazioni possono essere aggregate nel tempo per capire come il KNN stia lavorando nei diversi lead e nelle diverse condizioni.

È un livello differente rispetto alla memoria meteorologica.

Uno serve a imparare dagli errori.

L’altro serve a studiare il comportamento di chi sta imparando.

Più storico non significa automaticamente previsioni migliori

È naturale immaginare che aumentando il numero di esempi Metis debba migliorare automaticamente.

In realtà la quantità è soltanto una parte del problema.

Uno storico molto grande ma poco rappresentativo può essere meno utile di uno storico più piccolo ma composto da casi realmente compatibili.

Inoltre l’atmosfera presenta una quantità enorme di configurazioni possibili.

Alcune situazioni ricorrenti possono costruire rapidamente una buona memoria.

Altre possono richiedere molto più tempo.

Fenomeni rari, combinazioni particolari oppure determinati periodi stagionali possono inizialmente avere pochi esempi.

Per questo la crescita di Metis deve essere interpretata come un processo graduale.

La stagionalità conta anche per la memoria

Una previsione estiva e una invernale possono presentare valori numericamente simili per alcune variabili ma appartenere a contesti atmosferici completamente differenti.

Il periodo dell’anno contribuisce quindi alla compatibilità dei casi storici.

Questo è particolarmente importante per una pipeline locale.

Il comportamento radiativo, l’umidità, le temperature, i temporali convettivi e molte altre dinamiche cambiano profondamente con la stagione.

Metis non deve quindi costruire una memoria meteorologica priva di calendario.

Il contesto temporale fa parte della situazione che sta cercando di riconoscere.

Imparare senza dimenticare l’evoluzione del sistema

Anche la pipeline stessa cambia nel tempo.

Vertumno può evolvere.

Lira può essere migliorata.

Efesto può modificare la propria capacità di fondere le sorgenti.

Questo crea un problema interessante: una vecchia previsione potrebbe essere stata prodotta da una generazione del sistema differente da quella attuale.

Eliminare automaticamente tutto il passato significherebbe perdere molta esperienza.

Trattarlo come perfettamente equivalente al presente sarebbe però altrettanto sbagliato.

Metis dispone quindi di meccanismi per gestire la compatibilità tra memoria storica e architettura corrente, permettendo di utilizzare anche esempi precedenti quando risultano ancora confrontabili.

La memoria può così evolvere insieme al sistema senza essere considerata eterna e immutabile.

La qualità della validazione entra nel learning

Metis può essere buono soltanto quanto lo è la memoria che riceve.

Per questo il processo di validazione attribuisce importanza anche alla qualità delle osservazioni reali utilizzate per giudicare una previsione.

Una fascia con molti campioni della stazione e dati completi rappresenta un riferimento più solido.

Quando le osservazioni sono più limitate, il sistema può conservare comunque l’esperienza ma ridurne l’autorità futura.

Questo significa che lo storico non è semplicemente diviso in “giusto” e “sbagliato”.

Esiste anche una valutazione di quanto possiamo fidarci dell’esempio utilizzato per insegnare al KNN.

Metis non è un’intelligenza artificiale generativa

Il termine intelligenza artificiale viene oggi utilizzato per descrivere tecnologie molto differenti.

Metis non è un modello linguistico e non genera liberamente una previsione “immaginando” come potrebbe essere il tempo.

È un sistema KNN specializzato che lavora su dati meteorologici strutturati, memoria validata, distanze tra casi e errori misurati.

Non inventa nuovi esempi.

Confronta il caso corrente con esperienze realmente registrate dalla pipeline e utilizza quelle esperienze soltanto quando risultano sufficientemente compatibili.

Questa distinzione è importante per capire il ruolo reale del machine learning all’interno di Meteo Gesualdo.

Python è il motore, non la meteorologia

Metis è implementato in Python e suddiviso in diversi moduli specializzati.

Ma il linguaggio di programmazione è soltanto lo strumento con cui viene eseguita la logica.

La parte interessante non è il fatto che il KNN sia scritto in Python.

È la struttura meteorologica costruita attorno ad esso:

come vengono rappresentati i casi, quali esempi possono essere confrontati, come viene considerata la qualità della memoria, come vengono studiati gli errori e come il risultato viene ricomposto mantenendo coerenza fisica e meteorologica.

Un buon KNN deve sapere quando ha poca esperienza

Una delle caratteristiche più importanti di Metis non è la capacità di correggere.

È la capacità di riconoscere i propri limiti.

Quando lo storico cresce, aumentano le possibilità di trovare casi utili.

Ma continueranno sempre a esistere situazioni rare o combinazioni poco rappresentate.

In quei casi il comportamento corretto non è forzare una risposta.

È dichiarare implicitamente:

“La memoria non è abbastanza buona per modificare questa previsione.”

In un sistema reale questa prudenza è importante quanto l’apprendimento stesso.

Il risultato torna a Efesto

Quando Metis ha terminato il proprio lavoro produce la previsione canonica.

Questa può essere identica alla previsione ricevuta dal Merge, leggermente rifinita oppure modificata in alcuni dei suoi canali.

Da quel momento il compito del KNN è concluso.

Il risultato torna a Efesto.

Forecast lo utilizza come sorgente meteorologica finale e prepara le diverse viste necessarie al sito, all’app, allo Snapshot e agli strumenti diagnostici.

Metis quindi non pubblica direttamente nulla.

Consegna a Efesto il risultato che la pipeline considera definitivo dal punto di vista meteorologico.

Il paradosso dell’apprendimento

Metis utilizza lo storico per migliorare le previsioni.

Ma quello storico esiste soltanto perché in passato sono state prodotte altre previsioni, conservate e successivamente confrontate con la realtà.

Questo crea un ciclo interessante.

Ogni previsione di oggi può diventare una parte della memoria di domani.

Ogni errore misurato può diventare un’informazione.

Ogni conferma può dimostrare che, in un determinato contesto, la pipeline aveva già lavorato bene.

Metis non cresce quindi soltanto quando sbaglia.

Cresce ogni volta che una previsione viene confrontata onestamente con la realtà.

Imparare dagli errori senza inseguirli

Il vero obiettivo di Metis 7 non è eliminare completamente l’errore meteorologico.

Un obiettivo del genere sarebbe irrealistico.

L’atmosfera rimane un sistema complesso e la previsione mantiene inevitabilmente una componente di incertezza.

Il compito di Metis è più concreto.

Osservare gli errori che la pipeline ha già commesso.

Cercare se quegli errori si ripresentano in contesti realmente simili.

Valutare quanto sia affidabile la memoria disponibile.

Correggere soltanto i canali per i quali esiste evidenza sufficiente.

Mantenere la coerenza fisica e temporale del risultato.

E, quando l’esperienza non basta, lasciare la previsione com’è.

Metis non cerca semplicemente i vicini.

Cerca di capire che cosa gli errori dei vicini possano davvero insegnare alla previsione che stiamo facendo adesso.