Temi ambientali
Arpae in regione
Arpae Emilia-Romagna
Ti trovi in: ArpaER / Idro-Meteo-Clima /

Verifica previsioni

Il bollettino meteorologico emesso quotidianamente da Arpa-Simc per i due giorni seguenti contiene, dall'ottobre 2003, un rilevante numero di informazioni con un elevato dettaglio spaziale e temporale. Viene infatti emesso,oltre al bollettino riepilogativo per l'intero territorio regionale, un bollettino per ogni provincia (con ulteriore suddivisione in zone di pianura e rilievi) per le fasce temporali da mezzanotte a mezzogiorno (indicata per comodità come "mattino") e da mezzogiorno a mezzanotte (indicata come "pomeriggio-sera"). Al fine di migliorare il prodotto offerto si rende necessaria una verifica costante di quanto previsto.

Le previsioni emesse dalla sala operativa meteo vengono quotidianamente controllate confrontando quanto previsto con quello realmente accaduto.

Al momento sono disponibili la verifica della previsione di:

Precipitazioni

i settori previsionali in cui è suddivisa la regione Per la verifica delle precipitazioni le province sono state raggruppate in cinque macrosettori, tre di pianura e due di montagna.

Le previsioni per il "mattino" e per il "pomeriggio-sera" dei due giorni successivi all'emissione del bollettino, vengono confrontate con i corrispondenti valori osservati mediante la rete pluviometrica disponibile sul territorio regionale.

Si considerano 2 previsioni (mattino e pomeriggio) per i 5 macrosettori, quindi un totale di 10 previsioni per domani (+48 ore) e 10 previsioni per dopodomani (+72 ore).

La previsione è considerata corretta se c'è corrispondenza sia temporale che spaziale, quindi il criterio è molto severo.

AD ESEMPIO:

  • precipitazioni previste su pianura occidentale al mattino e osservate su quella stessa zona al mattino = previsione corretta;
  • precipitazioni previste su pianura occidentale al mattino e osservate su quella stessa zona al pomeriggio = previsione sbagliata;
  • precipitazioni previste su pianura occidentale al mattino e osservate su rilievi occidentali al mattino = previsione sbagliata.

In base al conteggio del numero di previsioni corrette, false segnalazioni (prevista precipitazione ma non osservata) e mancate segnalazioni (precipitazione osservata ma non prevista) vengono calcolati diversi indici statistici.

Non esiste un indicatore unico per valutare la qualità delle previsioni, ma bisogna far ricorso a uno o più indici a seconda di quello che si vuole evidenziare.

(maggiori dettagli sulla metodologia e risultati sui macrosettori)

accuratezza Una prima valutazione sulla bontà della previsione di precipitazione può essere fatta mediante l'indice di accuratezza.

Questo indice è definito come la frazione di previsioni corrette rispetto al totale delle previsioni. Nel nostro caso evidenzia la capacità di prevedere se un evento di precipitazione si verificherà oppure no, su un determinato macrosettore in una determinata finestra temporale.

L'indice di accuratezza è fortemente influenzato dall'evento più comune che, generalmente, sul nostro territorio è l'assenza di precipitazioni. Va tuttavia sottolineato che anche la previsioni di assenza di precipitazioni con un dettaglio spazio-temporale elevato, assume una notevole importanza per la programmazione di svariate attività (lavori agricoli, manifestazioni all'aperto etc...).

L'indice di accuratezza va considerato quindi in relazione al tipo di evento che caratterizza la stagione.

precipitazione osservata Per completezza riportiamo il numero di eventi presi in considerazione per la verifica delle previsioni nelle varie stagioni, suddividendoli in "eventi SI" ed "eventi NO":

  • evento "SI" = sul macrosettore in esame, in una determinata finestra temporale , si è verificato un evento di precipitazione
  • evento "NO" = sul macrosettore in esame, in una determinata finestra temporale, non si è verificato un evento di precipitazione

Esempio:

autunno 2003 -- 2 mesi (manca settembre)

 60 giorni               x
 2 finestre temporali    x
 5 macrosettori          = 600 eventi

treat score Il Treath Score (TS) o Critical Success Index (CSI) permette di avere un'idea più precisa della capacità di previsione degli eventi che contano (nel caso della precipitazione è l'evento SI), intendendo come evento il verificarsi o meno di precipitazione in un determinato macrosettore e in una ben precisa fascia temporale.

Questo indice rappresenta la frazione di eventi "SI" correttamente previsti rispetto al numero totale di eventi "SI" previsti e/o osservati.

Vengono penalizzati sia i "falsi allarmi" (previsto "SI", osservato"NO") sia i "mancati allarmi" (previsto "NO" e osservato "SI") ma ci sono informazioni sul tipo di errore.

La percentuale di successo conteggiando solo gli eventi previsti come "SI" è inferiore all'accuratezza vista sopra. Tuttavia valori attorno al 60% possono essere considerati soddisfacenti, tenendo conto del dettaglio spazio-temporale della previsione.

bias score Il Bias Score (BS) permette di valutare la frequenza di previsione di eventi "SI" rispetto alla frequenza del verificarsi di eventi "SI".

Viene messa in evidenza la tendenza a sovrastimare (BS > 1) o sottostimare (BS < 1) il numero di eventi di precipitazione.

Il BS però non permette di valutare la corrispondenza tra gli eventi previsti e osservati.

La sovrastima nel periodo estivo è da attribuire alle condizioni abbastanza restrittive della verifica, che considera la possibilità del verificarsi di episodi temporaleschi come previsione di evento "SI".

probability of detection$map false alarme ratio La Probability of Detection (POD) permette di calcolare la frazione di eventi "SI" correttamente previsti rispetto al numero totale di volte in cui l'evento "SI" si è verificato.

Paradossalmente si potrebbe ottenere un POD del 100% prevedendo sempre l'evento "SI", in quanto questo indice non tiene conto dei "falsi allarmi".

E' quindi indispensabile considerare il POD associato ad un altro indicatore come il False Alarm Ratio (FAR).

Il FAR permette di individuare la frazione di eventi previsti "SI" ma non verificatisi rispetto al numero totale di eventi "SI" previsti.

La qualità delle previsioni risulterà tanto migliore se ad un POD alto sono associati valori di FAR bassi.

Maggiori dettagli sulla verifica delle precipitazioni

Risultati

Temperature

Vengono confrontate le temperature minime e massime previste per un giorno dopo (indicate come domani) e per due giorni dopo (indicate come dopodomani) con le corrispondenti osservate sui 9 capoluoghi di provincia (PC, PR, RE, MO, BO, FE, FC, RA, RN).

Una prima valutazione complessiva può essere ottenuta calcolando la percentuale di previsioni che differiscono dal valore osservato di 2°C al massimo.

percentuali di previsioni entro 2°C da T osservata
percentuali di previsioni entro 2°C da T osservata

I risultati appaiono abbastanza soddisfacenti sia per la previsione delle minime che delle massime, indicando che mediamente il 70% delle previsioni ha un errore inferiore a 2 gradi.

Come ci si poteva aspettare, la qualità delle previsioni delle temperature previste due giorni prima è in generale inferiore a quelle previste un solo giorno prima.

Ulteriori indicazioni possono essere trovate nella descrizione della metodologia utilizzata dove vengono descritti anche alcuni indicatori statistici e viene presentato un confronto con alcuni prodotti di modellistica utilizzati al Simc.

Risultati