Indice Rt, c'è troppa confidenza con l'intervallo

Il valore dell’indice Rt in tempo reale calcolato su Mondo Economico continua a salire ormai da qualche giorno: dallo 0,79 di martedì scorso allo 0,86 di oggi (qui i risultati dei nostri conti). Contemporaneamente l’Ansa ha pubblicato con grande enfasi l’Rt di Roberto Battiston, anch’esso crescente oggi a 0,89. Il metodo di Battiston si ripromette di risolvere le discrepanze dei quattro modelli attualmente disponibili inventandone un quinto. In particolare si sottolinea, ricavando il risultato direttamente dai dati, come questo non sia affetto dalla significativa forchetta di errore come nel caso in cui venga determinato usando un modello probabilistico (con buona pace di 257 anni di statistica bayesiana).

Le forchette di errore non sono un problema in sé, anzi, come ci insegnano gli statistici, sono un prezioso strumento per valutare l’affidabilità di un indicatore.

Ma allora, perchè tutti se la prendono con le forchette di errore con cui l’ISS comunica il valore di Rt? Il 15 novembre era intervenuto Giorgio Parisi sull'HuffPost con L'indice Rt è inaffidabile.  Poi Roberto Battiston il 20 novembre con Un modo semplice per calcolare R(t) su Scienza in Rete. Infine noi, qui il 26 novembre, dove ponevamo il problema che calcolare un intervallo di confidenza su un periodo di 14 giorni significa mescolare incertezza e trend, come reso evidente da questo grafico che sovrappone i valori assoluti degli intervalli di confidenza e le differenze prime dei valori di Rt pubblicati:

In statistica le “forchette” si chiamano intervalli di confidenza e sono un concetto ben definito: pubblicare l’Rt con intervallo di confidenza al 95%, significa annunciare che l’Rt ha il 95% di possibilità di stare all’interno dell’intervallo.

Prendiamo il dato pubblicato l’11 novembre e relativo al 28 ottobre: Rt a 1,43 con forchetta tra 1,08 e 1,81: nella parte bassa si va verso le zone gialle, nella parte alta ci sono le zone ultra-rosse; quindi il dato diventa sostanzialmente inutile per chi deve prendere le decisioni.

Possibile? È un problema di eccessiva pressione sul sistema sanitario e di dati che arrivano troppo in ritardo? È un problema di algoritmi probabilistici troppo complicati?

No, il calcolo dell’intervallo di confidenza 95% era semplicemente sbagliato, e infatti improvvisamente ISS-FBK cambiano nome, e dopo averlo chiamato “95% CI” per 13 settimane, dal 2 dicembre lo ribattezzano “range” (al fondo dell’articolo trovate una tabellina che riporta lo storico delle pubblicazioni); “confidenza 95%” scompare e rimane “intervallo” (o “range” che fa più fine). Che cosa potrebbe essere questo intervallo, forse un minimo e un massimo? Esatto. FBK ha reso noto, in una nota pubblicata solo il 7 dicembre insieme ai dati, il metodo di calcolo del “range”: a pagina 5 si spiega che i bollettini ISS riportano il minimo e il massimo sui 14 giorni del 95% percentile delle distribuzioni R(t), ovvero, spiega sempre la nota, i range riportati danno conto sia dell’alta variabilità delle stime sui focolai estivi, che dei periodi in cui la trasmissibilità è variata significativamente.

Come dire: leggendo Rt 1,43 con intervallo di confidenza (oggi range) 1,08 - 1,81 non sappiamo se si tratta:

1. di una grande incertezza nella stima,
2. di una forte diminuzione dell’Rt,
3. di un rapido aumento dell’Rt.

Invece di dire che l’Rt stava diminuendo, e di quanto, ISS e FBK hanno preferito dire che eravamo incerti e che forse stava addirittura risalendo.

Mentre avrebbero potuto comunicare al governo e ai cittadini che stava scendendo ad una velocità di circa 0,4 a settimana, con un intervallo di confidenza 95% inferiore a 0,1 e non con una forchetta di 0,73. Ci saremmo anche risparmiati qualche polemica sull’interpretazione degli intervalli di confidenza.

Noi non abbiamo inventato un nuovo metodo, abbiamo posto due problemi e proposto due soluzioni da applicare al metodo consolidato Markov Chain Monte Carlo. Per la seconda necessitavamo dei positivi per data inizio sintomi, finalmente pubblicati dal 7 dicembre.

Stiamo facendo i conti. Stay tuned.

L'evoluzione. Tabella storica delle pubblicazioni dell’indice Rt da parte di ISS (dati rilevati il 13 dicembre 2020) 

© Riproduzione riservata