Competenze digitali: molti progetti, ma con quali effetti? La valutazione sarà la svolta

Il Fondo per la Repubblica Digitale recentemente istituito ha l’obiettivo di aiutare a colmare il significativo gap di competenze digitali che affligge il paese tramite il finanziamento di progetti di formazione digitale di qualità. Si tratta di un’iniziativa di public-private partnership di inusuale ambizione se considerata nel contesto della formazione professionale in Italia.

Come illustrato dal Presidente del Fondo per la Repubblica Digitale – Impresa sociale, Giovanni Fosti, l’iniziativa presenta numerosi aspetti di innovazione, dalla decisione di circoscrivere gli interventi su platee ben definite (ad esempio, donne e NEET nei primi due bandi) e su interventi il più possibile pragmatici e congrui alla platea di riferimento, all’inclusione di elementi di pay for performance nell’erogazione dei finanziamenti.

Più competenze digitali grazie alle partnership pubblico-privato sociale: i progetti di formazione

Formazione digitale, il ruolo della valutazione dell’impatto degli interventi finanziati

Un ulteriore elemento di innovazione del Fondo che merita particolare attenzione è il ruolo assunto dalla valutazione dell’impatto degli interventi finanziati, che viene espressamente descritta come un elemento distintivo del Fondo nella selezione dei programmi più efficaci con l’obiettivo di “ampliarne l’azione sul territorio nazionale e raggiungere più persone, realizzando miglioramenti tangibili nelle competenze digitali e trasformarli in policy.” A questo scopo, il Fondo si avvale di un Comitato Scientifico Indipendente di cui ho l’onore di essere Presidente, e del quale fanno parte accademici di fama internazionale quali Oriana Bandiera (LSE), Barbara Biasi (Yale), Francesco Drago (Catania) e Luciano Floridi (Oxford). Il Comitato Scientifico, a sua volta, ha predisposto una struttura interna di valutazione — l’Evaluation Lab, diretto da Gianfranco De Simone — che porterà avanti le attività di rilevazione e analisi necessarie per capire quali e quanti miglioramenti nei profili di competenza e di occupabilità dei beneficiari saranno attribuibili ai progetti formativi finanziati, potendo così confrontarne efficacia ed efficienza (rapporto costi-benefici) in modo rigoroso e preciso.

La scelta di porre tale attenzione sulla valutazione è in linea con la crescita d’interesse verso l’evidence-based policy making che prevede un sempre più significativo uso di dati e metodi empirici controfattuali per informare le decisioni relative alla formulazione e all’implementazione delle politiche economiche e sociali. Una valutazione rigorosa e sistematica degli interventi è specialmente necessaria nell’ambito della formazione degli adulti (nel digitale e non), data l’elevata complessità e le notevoli incertezze che si registrano circa l’efficacia e scalabilità degli approcci formativi esistenti (OECD 2016, 2016a, 2019).

Formazione, gli obiettivi dei programmi finanziati secondo l’OCSE

Per potere meglio guidare la scelta fra diverse modalità di investimento nella formazione degli adulti, l’OCSE suggerisce, in particolare, di fare sì che i programmi finanziati:

1. Si focalizzino su competenze digitali utili, ovvero allineate con la domanda di competenze nel mercato del lavoro. Affinché ciò avvenga, è necessario che gli interventi di formazione siano basati su esercizi nazionali di skills assessment and anticipation e/o la raccolta sistematica di informazioni sulle skills più richieste sul mercato del lavoro; che essi si focalizzino su lavoratori in settori soggetti a cambiamenti strutturali; e che i programmi includano non solo competenze tecniche, ma anche competenze complementari (ad esempio, soft skills);
2. Siano accompagnati da adeguate campagne informative e/o metodi di incentivazione per incrementare la partecipazione ai programmi e la loro inclusività;
3. Siano valutati in modo sistematico e comparabile. Questo significa non solo dotare le agenzie di formazione di strumenti per valutare e monitorare i corsi erogati attraverso l’uso di guidelines, metodi di auto-valutazione e formazione ai docenti, ma soprattutto utilizzare la valutazione di impatto con analisi controfattuale da parte di soggetti terzi per stimare l’efficacia dei programmi rendendo pubblici i risultati della valutazione in modo trasparente, facilmente accessibile e comparabile.

Cosa significa valutare i programmi in modo sistematico e comparabile

Cosa significa valutare i programmi in modo sistematico e comparabile? Le best practices in ambito di valutazione di politiche di investimento in capitale umano suggeriscono di valutare diversi interventi sulla base di una metrica comune e omogenea che riassuma il rapporto costi benefici associato ad ogni progetto, al fine di identificare i progetti più meritevoli di ulteriore investimento al netto dei costi.^[1] L’utilizzo di questo approccio, tuttavia, richiede la stima precisa dei benefici e dei costi attribuibili direttamente a ciascun investimento.^[2] Calcolare questi elementi impone particolare attenzione all’implementazione dei progetti in termini del roll-out degli investimenti, e dei dati raccolti per misurarne l’efficacia.

• Roll-out degli investimenti: Per poter valutare l’effetto causale di un investimento in formazione, è necessario identificare un controfattuale valido, ovvero, abbiamo bisogno di analizzare in dettaglio l’evoluzione di metriche prestabilite (ad esempio, livelli di competenza o esiti occupazionali) non solo in un gruppo di beneficiari che partecipano effettivamente alle attività formative previste (trattati), ma anche in un gruppo di potenziali beneficiari, ovvero persone simili a quelle incluse tra i trattati ma che non ricevono la formazione (controlli). Gli esiti osservati per i controlli ci diranno cosa sarebbe successo ai trattati se non avessero partecipato alle attività formative proposte. L’impatto dell’intervento altro non è che la differenza tra gli esiti formativi e occupazionali tra i due gruppi. L’esistenza di un controfattuale garantisce inoltre che gli esiti rilevati siano effettivamente attribuibili all’investimento e non ad altri possibili fattori concorrenti. Per esempio, questi approcci aiutano a stabilire che gli effetti dei programmi finanziati non dipendono da differenze sistematiche nel modo in cui le persone sono selezionate all’interno di ogni progetto.^[3] L’approccio permette inoltre di rilevare aspetti significativi per il disegno di nuove policies, come l’esistenza di possibili effetti indesiderati o di differenze di efficacia fra diverse platee di riferimento.
• Dati: Per poter valutare l’effetto degli investimenti è altresì essenziale potersi avvalere di dati sufficientemente granulari (ovvero, a livello di individuo), longitudinali (raccolti per lo stesso individuo in diversi momenti), e disponibili per entrambe i gruppi (trattati, controlli). I dati devono idealmente includere anche informazioni di background e sui livelli di competenze iniziali o le traiettorie occupazionali pregresse, mentre la raccolta di dati successivi all’implementazione del programma deve includere misure obiettive e validate sia sugli output (ad esempio, modalità di trattamento, partecipazione degli individui al programma, completamento del percorso), sia sui risultati diretti (digital skills acquisite) e indiretti (occupazione, reddito) influenzati dall’azione progettuale. Gli esiti successivi devono essere monitorati per un periodo sufficientemente lungo (ovvero anche diversi mesi dopo la partecipazione al corso di formazione) per evitare di cogliere solo effetti di breve periodo che possano poi rivelarsi effimeri.

I programmi di formazione settoriali

Un approccio meritevole di attenzione sia dal punto di vista della struttura che della valutazione è rappresentato dai programmi di formazione settoriali (sectoral employment programs) recentemente lanciati negli Stati Uniti. Nel novero di settori inclusi in questi interventi si ritrova anche quello dell’information technology.^[4] Questi programmi, destinati a lavoratori disoccupati o occupati in settori con basse prospettive di crescita e a rischio di licenziamento, sono disegnati in collaborazione con associazioni locali di datori di lavoro. L’approccio è di tipo “dual customer” in cui le esigenze dei datori di lavoro nel soddisfare la domanda di lavoro sono considerate di primaria importanza insieme all’apprendimento dei lavoratori. Questi programmi promuovono sia la formazione di competenze digitali specifiche sia di competenze generali e trasversali per migliorare la performance dei partecipanti sul mercato del lavoro. Un aspetto essenziale di questi programmi sta nel fatto che la loro efficacia sia stata in diversi casi valutata in modo sistematico attraverso esperimenti randomizzati (estrazione casuale dei beneficiari afferenti al gruppo dei trattati e a quello dei controlli), un approccio che rappresenta la punta di diamante dei metodi di valutazione con controfattuale. L’analisi ha evidenziato effetti positivi e duraturi sulla vita lavorativa di chi ha partecipato a questi programmi in termini di salario e probabilità di essere occupati. La valutazione ha anche consentito di comprendere i motivi del successo di questi programmi che risiedono: nella formazione dei lavoratori in settori ad alto valore aggiunto e per lavori associati a migliori progressioni salariali, nella capacità di poter trasferire competenze certificate e spendibili nel mercato del lavoro e nella rimozione delle barriere per l’accesso a lavori con alti salari, particolarmente per i gruppi che si trovavano in condizioni di maggiore vulnerabilità sociale e/o lavorativa.

Conclusioni

Nonostante in Italia vi sia molto fermento e pullulino le iniziative per l’accrescimento delle competenze digitali di giovani e lavoratori, non è stata ancora intrapresa una valutazione sistematica e rigorosa dell’efficacia degli interventi (sia in termini assoluti che relativi fra progetti) e della loro tenuta su perimetri più ampi (scalabilità). Le evidenze sono particolarmente carenti per gli interventi diretti alle platee di beneficiari più fragili dal punto di vista occupazionale, tipicamente più difficili da raggiungere e da coinvolgere in percorsi formativi strutturati. Questo difetto di informazione va a detrimento di un’efficace progettazione e implementazione di politiche formative e del lavoro centrate sulle competenze digitali. Per esempio, diversi percorsi professionalizzanti indirizzati alle nuove generazioni, pur registrando ottimi risultati in termini occupazionali, si basano su forti meccanismi di selezione in ingresso dei partecipanti e hanno costi elevati. La valutazione sistematica del loro effetto causale potrebbe dirci qualcosa in più riguardo alla loro validità su platee più eterogenee e meno selezionate di beneficiari e alla possibilità di estenderli su scala.

Il Fondo Repubblica Digitale rappresenta quindi un’occasione rara per generare una forte discontinuità per quanto riguarda il perimetro degli interventi, ma soprattutto l’individuazione delle best practices locali scalabili sul territorio nazionale. Se le iniziative del Fondo avranno successo si potrà generare un impatto tangibile non solo sulle vite dei beneficiari, ma anche sulle politiche per l’accrescimento di competenze di importanza strategica per il Paese. Passare dalle ambizioni alla concretezza dell’operatività perseguendo al meglio gli obiettivi individuati dal Comitato Strategico richiederà certamente un grande impegno oltre che una forte collaborazione fra le strutture del Fondo ed i soggetti responsabili dei progetti finanziati.

Il successo di questo piano, tuttavia, rappresenterebbe un progresso enorme nel panorama italiano e internazionale riguardo a ciò che sappiamo sulle più efficaci politiche destinate alla formazione degli adulti e, in particolare, dei segmenti più vulnerabili della forza lavoro. Come Comitato Scientifico Indipendente e Evaluation Lab siamo già al lavoro perché tutte le condizioni necessarie per il successo di questa importante iniziativa siano realizzate.

Bibliografia

OECD (2016), “Skills for a Digital World”, Policy Brief on The Future of Work, OECD Publishing, Paris.

OECD (2016a), Getting Skills Right: Anticipating and Responding to Changing Skill Needs, OECD Publishing, Paris, http://dx.doi.org/10.1787/9789264252073-en.

OECD (2019), Getting Skills Right: Future-Ready Adult Learning Systems.

1. Un esempio concreto dell’utilizzo di questo approccio è l’indice “Marginal Value of Public Funds” (MVPF) ideato da Nathaniel Hendren (Harvard). Questo approccio, sintetizzato in Hendren e Sprung-Keiser (2022), consiste nel calcolo del MVPF come rapporto tra i benefici causali (a breve e lungo termine) di un determinato programma e i suoi costi netti, includendo anche costi di lungo periodo. Il MVPF rappresenta una misura facilmente comprensibile e calcolabile dell’impatto di una determinata politica pubblica. ↑
2. Per esempio, nel caso di investimenti atti a incrementare le competenze digitali di base per lavoratori disoccupati, i benefici corrispondono ai compensi aggiuntivi che possono essere plausibilmente attributi all’intervento di formazione, ed i costi a quanto viene investito per studente, al netto dei maggiori introiti fiscali legati a possibili sbocchi lavorativi. ↑
3. Nello specifico, alcuni programmi potrebbero attrarre persone sistematicamente più motivate, che avrebbero comunque migliorato le proprie competenze digitali anche senza partecipare al programma. ↑
4. Gli altri profili tipicamente coinvolti sono quelli dell’assistenza sanitaria e della manifattura avanzata. ↑