La caduta del dio delle metriche

Misura, cura te stessa
Prendiamo in esame il sistema sanitario statunitense, che comprende ambulatori, ospedali, agenzie governative, assicurazioni private e milioni di medici e altri professionisti sanitari. Secondo il rapporto dell’Organizzazione mondiale della sanità World Health Report 2000 - Health Systems: Improving Performance , «è difficile ignorare che… gli Stati Uniti erano al primo posto per la spesa sanitaria pro capite, ma sono finiti al 39mo per mortalità infantile, al 43mo per mortalità adulta femminile, al 42mo per mortalità adulta maschile e al 36mo per speranza di vita».

In realtà, da un raffronto internazionale, il sistema sanitario americano è molto efficace nel diagnosticare e curare le malattie. Ma la mortalità e la speranza di vita sono fortemente influenzate da fattori esterni al sistema sanitario, non ultimi quelli legati alla cultura e agli stili di vita. In media, tra gli americani vi è un tasso di obesità più alto rispetto a altre nazionalità (anche se alcune seguono a brevissima distanza), ed è risaputo che l’obesità è associata a patologie croniche e debilitanti quali il diabete di tipo 2 e le malattie cardiache. 

 Allo stesso modo, secondo parametri internazionali, gli americani sono stati forti fumatori fino agli anni ottanta, e il fumo è una delle principali cause di patologie cardiache, cancro e altre malattie, talvolta anche decenni dopo aver smesso. Gli Usa presentano anche un tasso sproporzionatamente elevato di morti per ferite da arma da fuoco, una tragica realtà che quasi nulla ha a che fare con il sistema sanitario. 

 In sintesi, l’America deve molti dei suoi problemi più importanti legati alla salute non all’inefficienza del sistema sanitario, bensì a fattori socio-culturali indipendenti. Le metriche nazionali di mortalità e longevità dipendono perlopiù dal fatto che le persone facciano attività fisica, seguano una dieta equilibrata, usino le armi da fuoco responsabilmente ed evitino il sesso non protetto, il fumo, l’alcol e l’abuso di droghe. Per quanto i medici e i responsabili sanitari possano e cerchino di influenzare questi comportamenti, alla fine hanno scarso o zero controllo sulle scelte individuali in merito allo stile di vita.  

 Mangiate la carota (e il bastone)
L’approccio basato sulle metriche si è rilevato insufficiente anche a livello delle istituzioni mediche. Il secondo principio della dottrina prevede che le prestazioni degli ospedali possano essere migliorate attraverso la “trasparenza” e la “responsabilità”, divulgando i tassi di mortalità di tutte le strutture. Tuttavia, da uno studio recente incluso negli Annali di medicina interna è emerso che «la divulgazione dei tassi di mortalità non ha avuto alcun impatto sul decorso clinico dei pazienti».    

 Nel 2009, il programma Medicare ha richiesto a tutti gli ospedali per malattie acute di rendere noti i tassi di riammissione dei pazienti curati per patologie gravi, e ha pubblicato questi dati sul proprio sito “Hospital Compare”. Successivamente, nel 2012, è passato dalla pubblicazione dei dati a un sistema di pagamento in base ai risultati, imponendo sanzioni pecuniarie agli ospedali con tassi di riammissione superiori alla media. L’idea era quella di incentivare gli ospedali a ridurre le riammissioni e, di conseguenza, i costi. Eppure, nel 2015, tre quarti degli ospedali interessati erano ancora soggetti alle sanzioni del programma. 

 La cosa peggiore è che gli ospedali che più rischiano di essere penalizzati sono quelli al servizio dei pazienti più difficili. Ad esempio, le maggiori cliniche universitarie sono state sfavorite in modo sproporzionato poiché è lì che si concentrano i pazienti con patologie gravi. Lo stesso è accaduto agli ospedali ubicate in aree povere, dove spesso i pazienti non hanno accesso all’assistenza sanitaria, o non sono in grado di provvedere a se stessi dopo essere stati dimessi dall’ospedale. 

 Ancora una volta, riscontriamo che i fattori che determinano il successo o il fallimento sono esterni alle istituzioni che vengono misurate, premiate e penalizzate. E sebbene i sistemi premianti cerchino di controbilanciare questo risultato distorto mediante un processo di “adeguamento al rischio”, i calcoli per valutare il rischio, come qualunque altra misurazione, tendono a essere soggetti a specifiche errate e manipolazione.  

 Inoltre, il fallimento dei sistemi premianti in campo medico non riguarda solo gli Stati Uniti. Secondo un sofisticato studio comparativo del 2016 pubblicato su The Lancet, il “Quality and Outcomes Framework” del servizio sanitario nazionale britannico, il più vasto programma premiante per l’assistenza primaria a livello mondiale, non ha avuto un impatto significativo sui tassi di mortalità nel Regno Unito.  

 Imparare per numeri
Negli ultimi decenni, l’ossessione per le metriche è stata anche l’assillo dell’istruzione primaria e secondaria. Sotto vari presidenti statunitensi di entrambi gli schieramenti politici, il ministero dell’Istruzione americano e i governi statali hanno investito una notevole quantità di risorse nei sistemi basati su testi standardizzati che premiano o puniscono gli insegnanti e le scuole in base ai risultati pubblicati. 

 Eppure, come Daniel Koretz della Harvard School of Education dimostra nel suo recente libro The Testing Charade: Pretending to Make Schools Better, questo approccio basato sulla misurazione ha avuto un’incidenza netta minima sulla capacità di apprendimento degli studenti. Nel contempo, però, ha avuto un effetto demoralizzante sugli insegnanti, che vengono tacciati di pigrizia o incompetenza se la performance dei loro studenti, in base ai parametri applicati, risulta carente.

 In realtà, e la cosa non dovrebbe sorprendere, le scuole sono responsabili solo in parte della performance degli studenti. Come è noto almeno dal 1966, anno in cui l’amministrazione del presidente americano Lyndon B. Johnson commissionò l’“Equal Educational Opportunity Study”, la resa degli studenti è strettamente collegata al successo sul piano sociale, economico ed educativo dei loro genitori.  

 Malgrado il dimostrato fallimento dei sistemi premianti nel campo dell’educazione, il governo federale ha continuato a investire in questi programmi. E anche in questo caso, gli Stati Uniti non sono l’unico caso. Regno Unito, Portogallo, Australia, Cile, Messico, Israele e India hanno anch’essi adottato misure per legare lo stipendio, l’incarico e la promozione degli insegnanti alla valutazione della performance degli studenti.  

 La nazione delle METRICole
Gli evangelisti delle metriche si sono concentrati anche sull’istruzione superiore. Organizzazioni come la Bill & Melinda Gates Foundation e la Lumina Foundation hanno incoraggiato le persone a iscriversi all’università e sollecitato i governi statali a premiare o punire le università statali in base al numero dei laureati. E, nel tempo, sempre più americani sono andati al college dopo le superiori.       

 Non vi è alcuna indicazione, però, che la preparazione universitaria negli Stati Uniti sia aumentata in parallelo ai tassi di frequenza. Uno dei parametri utilizzati è la resa degli studenti in test attitudinali come il SAT e l’ACT. L’azienda che commercializza l’ACT ha sviluppato degli standard di riferimento per indicare se un candidato “è pronto per gli studi universitari”. Degli studenti che hanno sostenuto il test ultimamente, un terzo non ha raggiunto il minimo richiesto in nessuna delle quattro aree testate (inglese, matematica, comprensione scritta e scienze), e soltanto il 38% l’ha raggiunto in almeno tre.     

 Questi risultati suggeriscono che molti di coloro che aspirano ad andare al college non hanno le capacità per riuscire una volta entrati. Di fatto, poiché molti degli studenti che accedono ai corsi universitari biennali o quadriennali sono impreparati, spesso devono iscriversi a quelli che eufemisticamente vengono chiamati corsi “di recupero”, che riprendono contenuti a livello delle scuole superiori. Alla data del 2010, un terzo degli studenti che voleva accedere ai corsi biennali è stato inserito in corsi di recupero di comprensione scritta, mentre il 59% in corsi di recupero di matematica.

 Una conseguenza prevedibile dell’afflusso di studenti impreparati ai college è un calo del numero dei laureati, un fenomeno diffuso che grava pesantemente sulle tasche degli studenti sotto forma di tasse universitarie, costi di vitto e alloggio e guadagni mancati. E tutto questo arriva nello stesso momento in cui i governi statali sollecitano le università pubbliche a incrementare il numero dei propri laureati.  

 Ma, anche in questo caso, terminare gli studi dipende meno dalle prestazioni dei docenti che dalle attitudini degli studenti. Pertanto, in risposta alle pressioni dei legislatori, alcuni college statali hanno semplicemente abbassato l’asticella. In pratica, ciò significa offrire un maggior numero di corsi con requisiti facili da soddisfare, e costringere gli insegnanti – a volte apertamente, altre tacitamente – a gonfiare i voti. Questo processo è agevolato dal crescente impiego di formatori a contratto, che possono essere revocati se bocciano troppo.  

 Queste procedure basate sulla misurazione consentono ai presidi di puntare su dati “trasparenti” per dimostrare una performance di alto livello. Quello che non è trasparente è il modo in cui vengono ridimensionati i parametri di riferimento. Come per l’assistenza sanitaria, le istituzioni formali dell’istruzione superiore vengono criticate per fattori esterni al loro controllo, mentre gli sforzi per ingannare il sistema vengono premiati.

 Arrestare lo sviluppo
Un ultimo settore travolto dalla mania per la misurazione della nostra epoca è quello del mantenimento dell’ordine. Quando gli elettori e i politici pensano alla sicurezza pubblica, pensano alla polizia, che ritengono responsabile dei tassi di criminalità. Tuttavia, come per la salute in relazione al sistema sanitario, o per l’istruzione in relazione al sistema scolastico, la sicurezza pubblica dipende solo in parte da una vigilanza efficace.  

 La sicurezza pubblica, infatti, dipende anche da altri elementi del sistema giudiziario, come i pubblici ministeri, la magistratura e i sistemi penale e della libertà condizionale. Inoltre, dipende dalla propensione della popolazione locale al crimine, che a sua volta dipende da fattori socioeconomici e culturali più ampi. E dipende dalle opportunità di commettere reati. Di fatto, il drastico calo dei livelli di criminalità negli Stati Uniti negli ultimi decenni è stato determinato da interventi dei privati, non della polizia. La proliferazione di sistemi d’allarme sempre più sofisticati ha reso molto più difficili i furti di automobili o in appartamento. E oggi circa un milione di americani lavora per società di vigilanza private.    

 Come è accaduto per le altre istituzioni formali soggette all’ossessione per le metriche, le forze di polizia hanno imparato, anzi sono state incoraggiate, ad aggirare il sistema. Per “ridurre” i tassi di criminalità, possono derubricare alcuni reati, oppure omettere di verbalizzare l’arresto di sospetti. 

 I politici saranno sempre tentati di caricare le istituzioni di aspettative non realistiche per dimostrare di avere a cuore il benessere e la sicurezza delle persone. È bello pensare che, con i giusti incentivi, tutti possano godere di buona salute, gli studenti possano riuscire negli studi e le città possano essere libere dalla criminalità. Ed è inevitabile che una piccola società di guru dell’organizzazione e consulenti internazionali voglia sfruttare queste speranze spacciando “migliori prassi” e cure basate sulle misurazioni come la soluzione per risolvere problemi sociali profondi. Ma, come abbiamo visto, i risultati sono spesso deludenti.  

 Tutto questo non significa che misurare la performance attraverso i dati sia inutile. La misurazione delle prestazioni può essere vantaggiosa, soprattutto se utilizzata non allo scopo di premiare o punire, ma per finalità diagnostiche dagli stessi professionisti, e se modellata in base ai loro valori, esperienze e aspettative professionali. Troppo spesso, però, l’ossessione per le metriche entra in gioco, promettendo una soluzione a qualunque problema, a prescindere dalla sua complessità. E se alla fine questa soluzione non arriva, si può sempre ricorrere a un capro espiatorio a cui addossare la colpa e con cui esorcizzare l’incertezza.    

 Traduzione di Federica Frasca

  Jerry Z. Muller, docente di storia alla Catholic University of America, è l’autore di The Tyranny of Metrics.

 Copyright: Project Syndicate, 2018.
www.project-syndicate.org