L’utilizzo della Intelligenza Artificiale (AI) a supporto del Project Manager (PM) sembra vicino, ma già oggi è efficace?
Per comprenderlo abbiamo effettuato una prima prova per l’assessment di qualità su ChatGPT, al fine di verificare la sua utilità come “personal assistant” di un project manager responsabile per un progetto ICT pubblico, nell’ambito del PNRR. La valutazione risultante, utilizzando le sue caratteristiche attuali, esprime ancora qualche punto debole, anche se le prospettive sembrano interessanti specie in attesa di verificare le capacità, annunciate notevolmente più elevate, della versione 4 da poco rilasciata e non ancora disponibile a tutti e dei rilasci annunciati dai potenziali competitor.
Auspicando che ormai si siano risolte positivamente le criticità che hanno prima portato al temporaneo blocco di ChatGPT da parte del Garante della Privacy ed ora al suo recente sblocco.
Piano di assessment
Sulla base delle prospettive indicate nei blog dei principali autori sulla materia proprio sul possibile ruolo di ChatGPT come personal assistant del Project Manager, è stato costruito un “progetto campione”, estrapolato con le opportune semplificazioni da un effettivo progetto ICT della Pubblica Amministrazione. Una breve sintesi del progetto “Integrazione Servizi di Pagamento PA” (ISPA) è riportata in Figura 1, che rappresenta lo screenshot della conversazione iniziale con il tool.
Figura 1 – Caratteristiche del progetto “campione” ISPA e accettazione ChatGPT
Sono state poi sottoposte al tool una serie ordinata di 30 domande, tutte in formato aperto, relative alla gestione del progetto campione, posizionando temporalmente le domande in diversi momenti del suo ciclo di vita:
1. ad avvio progetto (Fase 1: principale focus su approccio metodologico),
2. dopo 1 mese da inizio progetto (Fase 2: principale focus su situazione/azione richiesta),
3. ad 1 settimana dalla fine del progetto (Fase 3: principale focus su lezioni apprese).
Uno stralcio delle domande, relative a ciascuno dei momenti del ciclo di vita simulato, è riportato nelle seguenti Figure 2, 3 e 4. Maggiori dettagli sulla intera ricerca sono disponibili, per chi fosse interessato.
Figura 2 – Domande su approccio metodologico
Figura 3 – Domande su situazione/azione richiesta
Figura 4 – Domande su lezioni apprese
Le risposte ottenute
Nelle sessioni di conversazione con il tool, alle domande per ciascuno dei momenti del ciclo di vita del progetto, sono state ottenute le relative risposte, delle quali uno stralcio è riportato nelle Figure 5, 6 e 7.
Figura 5 – Risposte su approccio metodologico
Figura 6 – Risposte su situazione/azione richiesta
Figura 7 – Risposte su lezioni apprese
Il modello di qualità applicato
Le risposte ottenute alle domande poste sono state valutate dagli autori secondo i criteri, in buona parte derivati da:
- le norme ISO/IEC 25010 sulla qualità dei sistemi software,
- adattate al contesto AI,
- personalizzate alla funzione di chatbot del tool.
Infatti, come già detto, lo specifico ruolo assegnato a ChatGPT è stato quello di personal assistant al Project Manager del progetto ISPA.
Si è anche considerata la diretta esperienza acquisita in una pioneristica ricerca sulla certificazione della qualità dei siti web della PA Italiana.
In sintesi, le caratteristiche di qualità considerate (e relative sotto-caratteristiche, omesse in questo articolo per brevità) sono di seguito riportate, opportunamente pesate per la loro valutazione aggregata:
- Adeguatezza: risposte coerenti con le domande poste e verificabili, precise e di lunghezza adeguata, contenuti adeguati a soddisfare le esigenze informative esposte, conoscenza delle esigenze tipiche del project manager, …
- Completezza: risposte esaurienti (basate su più fonti), riferimenti a bibliografia/esperienze specifiche (rintracciabili), indicazioni su affidabilità risposte o presenza di alternative, …
- Originalità e capacità apprendimento: evidenza di elaborazione autonoma rispetto alle fonti, linguaggio (appropriato al contesto) e allineato alle domande, capacità di imparare dai feedback e dalle esperienze passate, …
- Usabilità: facilità di accesso e d’uso, tempestività (tempi di attesa accettabili per l’utente), comprensibilità domande/risposte, mantenimento della sequenza della conversazione (anche in più sessioni), …
La valutazione della risposta è stata effettuata assegnando un giudizio ad ognuna delle sotto-caratteristiche in una scala crescente: da 0 (totalmente non soddisfacente) a 3 (totalmente soddisfacente).
Il livello di soglia richiesto per ciascuna caratteristica di qualità è stato fissato pari a 2: parzialmente soddisfacente.
Valutazione: caratteristiche esaminate e risultati
Preliminarmente si è evidenziata una difficoltà del tool nel fornire una sequenza completa di risposte al singolo gruppo di domande, sottoposte separatamente per ciascuno dei momenti del ciclo di vita del progetto. Le interruzioni nel flusso di risposte (sistema “bloccato”) hanno costretto a sottoporre, in alcuni casi più volte, il singolo gruppo di domande, fino ad ottenere il quadro di risposte sopra riportato. Questo aspetto ha influito sulla valutazione della caratteristica di “Usabilità”.
Inoltre, si è avvertita la mancanza di qualsiasi evidenza delle eventuali fonti dalle quali siano emerse le risposte fornite. In effetti, la scelta di non richiedere esplicitamente i riferimenti puntuali delle fonti è stata anche originata dalla esperienza effettuata in precedenti test, dove spesso i riferimenti forniti dal tool sono stati di “fantasia” e non riscontrabili: fenomeno noto alla comunità specialistica come hallucination.
Questo aspetto, comunque, non ha penalizzato in modo significativo la valutazione per la caratteristica di “completezza”.
La valutazione mediata sulle diverse caratteristiche di qualità definite (Figura 8) mostra una sostanziale accettabilità per le risposte fornite nel momento di avvio (Fase 1), mentre nei momenti successivi (Fasi 2 e 3) la valutazione si pone sotto la soglia, con valori intermedi tra l’insufficienza e la sufficienza.
Figura 8 – Qualità nei diversi momenti (valutazione su media pesata sulle caratteristiche)
Questo conferma la capacità del tool di fornire un ragionevole supporto al PM per gli aspetti metodologici, tipici nel momento iniziale di organizzazione del progetto, mentre risulta (almeno per ora) meno efficace nel suggerire le decisioni da prendere a fronte delle situazioni emergenti o, ancor meno, nel riassumere le “lezioni apprese” nel corso del progetto. Probabilmente questo potrebbe essere condizionato anche dalla descrizione dello scenario “situazionale” delle fasi 2 e 3: non si ha evidenza se a fronte di un maggiore insieme di dati di dettaglio sulla situazione corrente, come avviene per un progetto nella realtà, il tool avrebbe potute fornire risposte maggiormente pertinenti.
Una analisi più dettagliata delle valutazioni puntuali fa emergere alcuni punti salienti sulle caratteristiche di qualità espresse nelle risposte per i diversi momenti simulati nel ciclo di vita del progetto:
- Adeguatezza: generalmente accettabile, più che accettabile per il supporto nella Fase 1 (momento di avvio);
- Completezza ed Originalità: generalmente inaccettabili, leggermente migliori per il supporto nella Fase 1;
- Usabilità: generalmente accettabile, leggermente peggiore nella Fase 1.
In relazione all’annunciato progressivo miglioramento del tool da parte della start-up OpenAI che lo ha realizzato, si prevede di effettuare ulteriori simulazioni, posizionate anche in altri momenti del ciclo di vita del progetto pilota, fornendo specifiche informazioni situazionali. L’ampliamento del panel di valutatori “esperti” (sul project management e l’intelligenza artificiale) potrebbe costituire un ulteriore elemento migliorativo.
La necessità di progettare e adottare uno strumento strutturato di PMIS
Alla data del primo marzo 2023 si rilevavano circa 53.000 progetti del PNRR con un valore di circa 43 miliardi di euro (v. “PNRR_Progetti_Dati_Validati.csv” scaricabile dal sito Italia Domani)
Con un tale impressionante numero e varietà di progetti afferenti tutti allo stesso Piano di Ripresa e Resilienza, caratterizzato da ambiti tempistiche e obiettivi ben definiti, sarebbe stato utile progettare e adottare uno strumento strutturato di PMIS per gestire l’intero ciclo di vita dei progetti del PNRR e non solo gli aspetti rendicontativi come avviene attualmente con il sistema REGIS, gestito dalla Ragioneria Generale dello Stato (RGS).
Infatti, questo approccio sarebbe stato funzionale sia alla rendicontazione e monitoraggio finanziario, ma anche alla pianificazione e controllo dell’avanzamento delle attività. Stante la predefinita struttura del PNRR, che fa da quadro di riferimento all’interno del quale trovano collocazione tutti i progetti finanziati, un tale sistema (opportunamente integrato con lo stesso REGIS) avrebbe potuto costituire il repository delle lesson learned. Sarebbe stato possibile, quindi, raccogliere i dati delle migliaia di progetti finanziati nell’ambito del PNRR (ed eventualmente degli altri progetti pubblici gestiti con fondi diversi), andando così a costituire una base dati strutturalmente omogenea sulla quale poter applicare algoritmi di Machine Learning e/o di Virtual Assistant (come più semplicemente simulato per ChatGPT), da mettere a supporto delle Amministrazioni e dei Responsabili di progetto, sia per la guida strategica del portafoglio di programmi/progetti di una Amministrazione che per la gestione operativa degli stessi. Non se ne può avere la certezza, ma probabilmente un tale sistema, coadiuvato dal supporto di un assistente virtuale come ChatGPT che apprende dinamicamente dall’evoluzione di una tale ipotetica base dati, avrebbe potuto portare ad una maggiore velocità nella istruttoria e pianificazione dei progetti, ma anche nelle modalità di controllo dell’avanzamento e di rendicontazione degli stessi e quindi, in definitiva, a una più veloce attuazione del PNRR stesso
Conclusioni
A fronte della “esplosione” del fenomeno ChatGPT, i maggiori esperti di project management concordano nel ritenere che il suo più immediato e proficuo utilizzo sia proprio nel ruolo di “personal assistant” del PM. Nell’assessment effettuato (modello in ß test, come anche lo stesso tool esaminato), si notano buoni risultati sulle questioni di carattere metodologico, ma una sostanziale minore efficacia a fronte dei quesiti che richiedono una maggiore comprensione della situazione, fornendo spesso risposte connotate solo metodologicamente e talvolta eludendo la specificità della domanda.
Questo è da una parte comprensibile: la ovvia disponibilità dei vari standard di project management e relativi “Book of Knowledge” consente al tool basato sull’AI di affrontare adeguatamente questioni metodologiche, utilizzando i testi maggiormente consoni. Ma dall’altra parte, quando le informazioni fornite sono insufficienti o non trovano corrispondenza nella base di conoscenza del tool, piuttosto che risposte non “a tono”, sarebbe stato preferibile ottenere una più esplicita dichiarazione di incapacità a rispondere adeguatamente.
La valutazione emergente, utilizzando le caratteristiche attuali di ChatGPT, esprime ancora qualche punto debole, ma mostra prospettive interessanti, specie in attesa di verificare le capacità, annunciate notevolmente più elevate, della versione da poco rilasciata e non ancora disponibile a tutti e dei rilasci annunciati a breve dai potenziali competitor.
L’auspicata disponibilità di un valido supporto ai progetti reali, integrata con un sistema informativo di gestione progetto (PMIS – Project Management Information System) potrà dare, anche in tempi brevi, maggiore affidabilità ed efficacia a strumenti di questo tipo, lasciando al Project Manager maggior disponibilità ed attenzione verso gli aspetti relazionali e strategici della sua funzione.
.
