Competenze dei valutatori EUCC: guida completa alle norme ISO

Lo Schema europeo di Certificazione della cybersicurezza basato sullo standard Common Criteria (CC), denominato EUCC, è entrato in vigore il 27 febbraio 2024 e, un anno dopo, gli Schemi Nazionali di Certificazione (in Italia l’OCSI) hanno cessato di esistere e lo schema è entrato pienamente in vigore.

Accreditamento e gestione competenze dei valutatori EUCC

Come noto, lo schema EUCC prevede l’accreditamento di laboratori (chiamati anche ITSEF) e, novità introdotta dallo schema, degli Organismi di Certificazione privati, chiamati CAB (Conformity Assessment Body) che si affiancheranno agli Organismi di Certificazione pubblici (anch’essi chiamati CAB) che saranno gli unici ad emettere certificati per il livello “High”.

Sia gli ITSEF che i CAB devono essere accreditati dalla National Acreditation Body (ACCREDIA in Italia) in accordo alle norme ISO 17025, per gli ITSEF, e ISO 17065, per i CAB.

In tale ambito, l’Agenzia Europea per la Sicurezza ENISA ha predisposto, nel mese di ottobre 2023, un documento che illustra la procedura che deve essere utilizzata per l’accreditamento dei laboratori fornendo un parallelo tra l’annex del Cyber Security Act (CSA) e la Norma ISO 17025.

Requisiti normativi per la gestione competenze dei valutatori EUCC

Uno degli aspetti rilevanti che i laboratori devono gestire è la valutazione delle competenze dei propri valutatori per dimostrare che questi sono in grado di eseguire i test e le attività previste dallo schema. Questo è un requisito della ISO 17025.

Nel documento di ENISA vengono indicate le norme di riferimento da utilizzare (la ISO/IEC 19896-1:2018 e la ISO/IEC 19896-3:2018) e fornisce in allegato le tipologie di tecnologia e le tipologie di tecniche di valutazione sulle quali i valutatori di un ITSEF devono avere competenza.

In questo articolo descriveremo come si può implementare un sistema di gestione delle competenze dei valutatori all’interno di un ITSEF e come questo può essere mantenuto.

Le norme di riferimento per l’accreditamento dei laboratori di prova

Come accennato in precedenza, la norma utilizzata per l’accreditamento dei laboratori di prova è la ISO/IEC 17025:2017. La norma contiene criteri generali per la competenza dei laboratori di prova e di taratura (non solo nell’ambito dei test e della valutazione della sicurezza dei prodotti ICT, ma anche in un’ampia gamma di laboratori). La clausola 6 della norma richiede, tra i vari controlli, che il laboratorio deve garantire che il valutatore abbia le competenze necessarie per svolgere i compiti di laboratorio per i quali è responsabile, nonché per valutare l’importanza delle deviazioni dai risultati attesi.

Nell’ambito specifico della valutazione e gestione delle competenze, sono diventate di riferimento per tutti i laboratori la norma ISO/IEC19896 e in particolare:

• la parte 1 che fornisce i concetti fondamentali relativi alle competenze delle persone responsabili dell’esecuzione delle valutazioni della sicurezza dei prodotti ICT;
• la parte 3  che stabilisce una linea guida di base per la valutazione delle competenze minime che un valutatore Common Criteria (norma ISO/IEC 15408) deve possedere per poter effettuare valutazioni di sicurezza rispetto a tale standard.

Va osservato che la valutazione delle competenze in ambito valutazioni di sicurezza ai sensi dello standard Common Criteria è essenziale per potere garantire risultati ripetibili, comparabili, oggettivi e indipendenti. Tale aspetto è ancor più importante quando alla certificazione è associato un processo di mutuo riconoscimento.

Elementi fondamentali nella gestione competenze dei valutatori EUCC

L’implementazione di un sistema di valutazione e gestione delle competenze dei valutatori all’interno di un laboratorio accreditato EUCC, considerando i requisiti espressi da ENISA e dalle norme di riferimento citate prima, può essere basato sui seguenti elementi:

• Education: la specificazione di un particolare titolo di studio, come una laurea associata, di primo livello o superiore, può aiutare a determinare la capacità di un individuo di seguire un programma formale o di lavorare in modo indipendente.
• Training: la formazione può essere fornita per aumentare altri elementi di competenza, come le conoscenze, le abilità e la tecnologia.
• Experience: coinvolgimento a livello pratico in progetti relativi al campo di competenza con la supervisione di valutatori più esperti.
• Knowledge: fatti, informazioni, verità, principi o comprensione acquisiti attraverso l’esperienza e l’istruzione. Comprende anche la conoscenza appropriata degli standard applicabili.
• Skills: capacità di eseguire un compito o un’attività con un risultato specifico acquisita attraverso l’istruzione, la formazione, l’esperienza o altri mezzi. Comprende la comprensione dell’ambito del progetto, la definizione dei confini dell’implementazione, la selezione dei metodi di test, l’analisi della documentazione e del codice sorgente, lo sviluppo e l’esecuzione di test funzionali e non funzionali, la garanzia di condizioni di test ripetibili, la calibrazione degli strumenti, la gestione sicura dei dati di test, l’interpretazione dei risultati dei test e la produzione di rapporti completi.
• Effectiveness: valutazione dell’efficacia delle competenze basata sulla capacità di applicare le conoscenze e le abilità in modo produttivo, sull’accuratezza dei risultati dei test o delle valutazioni ottenute, sulla capacità di ripetere metodi o attività di valutazione o di test eseguiti da altri valutatori o tester competenti e di ottenere gli stessi risultati, sulla capacità di comunicare le attività di test e di valutazione.

Nella figura riportata qui di seguito è contenuta la struttura logica di come gli elementi suddetti si relazionano all’interno di un sistema di valutazione delle competenze.

Nella valutazione complessiva delle competenze di un valutatore vengono presi in considerazione anche ulteriori elementi di competenza, come attitudine, volontà, entusiasmo, iniziativa, leadership e lavoro di squadra.

Gestione delle competenze dei valutatori EUCC: education e training

Nei paragrafi che seguono sono descritte in dettaglio le caratteristiche di ognuno degli elementi citati prima personalizzati alle valutazioni di sicurezza dei prodotti ICT in accordo allo schema EUCC.

Education

L’istruzione e la qualifica sono tipicamente dimostrate dal possesso di titoli autentici rilasciati da organizzazioni riconosciute come legittime (es. università, società certificatae,..). Questi devono essere acquisiti e registrati nel fascicolo personale del valutatore.

Training

L’obiettivo del training è garantire che ai valutatori venga fornita la formazione necessaria. L’intento della formazione è quello di fornire all’individuo le conoscenze e le abilità necessarie per essere competente nei compiti e nelle responsabilità che gli sono stati assegnati. La formazione viene fornita anche per acquisire o migliorare le competenze esistenti, accrescere le conoscenze o aumentare l’efficacia.

Per i laboratori EUCC, bisogna fornire una formazione sui Common Criteria a tutti i nuovi valutatori, suddivisa in due fasi principali:

• studio dello standard Common Criteria, della documentazione dello schema EUCC e delle procedure interne del laboratorio;
• training on the job partecipando ed eseguendo valutazioni sotto la supervisione e l’assistenza di un valutatore esperto che agisce come “mentore”. Inoltre, il valutatore deve anche partecipare al lavoro interno, come il lavoro di Garanzia della Qualità (QA) rivedendo i rapporti di valutazione preparati da altri valutatori.

Oltre alla formazione specifica per lo standard CC, il valutatore dovrà partecipare a seminari, workshop, interventi formativi ulteriori e specifici soprattutto nei casi in cui sia necessario acquisire ulteriori competenze da utilizzare nelle attività di valutazione (es. hardware, linguaggi formali, metodi e tecniche di attacco, sicurezza delle informazioni, rischi ICT e di sicurezza, crittografia, analisi del codice sorgente, ecc.).

Inoltre, per avere una valutazione il più oggettiva possibile delle competenze acquisite, è buona norma predisporre dei meccanismi di verifica delle stesse (es. test, esami e certificazioni, colloqui con valutatori più esperti/direttore laboratorio,..) al fine di avere contezza del livello raggiunto e tarare in maniera più efficacia i successivi interventi formativi.

Tutte le attività di formazione eseguite dal valutatore, anche quelle effettuate in self-study, devono essere registrate nel fascicolo personale de valutatore insieme alle evidenze dei test effettuati.

Gestione delle competenze dei valutatori EUCC attraverso l’esperienza

A seconda dell’attività assegnata e dell’esperienza del valutatore, quest’ultimo può avere bisogno di più o meno supervisione. Di norma, i nuovi valutatori dovrebbero iniziare a lavorare con tecnologie familiari a bassi livelli di garanzia (EAL1 e 2) insieme a valutatori esperti.

Con l’aumentare del livello di esperienza, al valutatore possono essere assegnate aree di valutazione più difficili. In seguito, il valutatore sarà anche in grado di lavorare in modo più indipendente. La supervisione e il processo di revisione della qualità dei risultati prodotti dal valutatore indicheranno il livello di esperienza raggiunto e in che misura il valutatore è in grado di svolgere un lavoro in maniera più indipendente.

L’esperienza si misura attraverso il numero di progetti completati, la loro descrizione, compreso il tipo di tecnologia, la complessità del progetto, le tecnologie e i metodi di test impiegati durante i progetti. Queste informazioni vengono registrate nel fascicolo personale del valutatore.

Le conoscenze tecniche nella gestione delle competenze dei valutatori EUCC

Le conoscenze rilevanti da applicare nella valutazione della sicurezza di un prodotto ICT possono essere suddivise nelle seguenti aree:

• Conoscenza dello standard di sicurezza del prodotto ICT pertinente: questo include la conoscenza di tutte le parti della norma ISO/IEC 15408 (parti da 1 a 5) e della metodologia ISO/IEC 18045. Le conoscenze richieste dai valutatori per i requisiti funzionali di sicurezza (SFR) della CC Parte 2 e per i requisiti di garanzia della sicurezza (SAR) della CC Parte 3 sono definite rispettivamente nell’Allegato C e nell’Allegato B della norma ISO/IEC 19896-3. Inoltre, i valutatori sono tenuti a conoscere le norme di sicurezza dei prodotti ICT. Inoltre, i valutatori devono conoscere i profili di protezione (PP), i pacchetti e i documenti di supporto applicabili alla tecnologia specifica da valutare, compresi i metodi di valutazione applicabili e le attività di garanzia ivi specificate.
• Conoscenza del paradigma di garanzia: i valutatori devono conoscere i requisiti delle autorità di certificazione (ad es. CCRA, ACN) e dei schemi di valutazione (ad es. EUCC) per i quali sono autorizzati a lavorare. Inoltre, i valutatori devono conoscere il sistema di gestione, le politiche e le procedure del laboratori.
• Conoscenza della sicurezza informatica: i valutatori devono conoscere i principi e le proprietà della sicurezza, i meccanismi di attacco e i concetti di potenziale di attacco, il ciclo di vita dello sviluppo sicuro, i test di sicurezza, le vulnerabilità e i punti deboli.
• Conoscenza della tecnologia da valutare: I valutatori devono conoscere la tecnologia informatica da valutare, compresa l’architettura di sicurezza comune utilizzata per quel tipo di tecnologia. La tassonomia dei tipi di tecnologia è indicata dall’allegato del documento di ENISA denominato “EUCC Scheme state-of-the-art document – Accreditation of ITSEFs for the EUCC Scheme – version 1.1, october 2023”.

Valutazione delle skill nella gestione delle competenze dei valutatori EUCC

In genere, un valutatore deve essere in grado di comprendere l’ambito e le basi di una valutazione, selezionare o adattare i metodi di valutazione e di test appropriati, eseguire l’analisi documentale, costruire un ambiente di test per ottenere una condizione di funzionamento adeguata, sviluppare ed eseguire test funzionali e non funzionali, determinare se le condizioni di test rientrano nei parametri dichiarati, configurare e utilizzare gli strumenti di test, utilizzare un’archiviazione adeguata delle prove di test, dei risultati di test e dei registri di test, interpretare i risultati di test, scrivere rapporti comprensibili che illustrino i risultati del lavoro svolto, ripetere un test e ottenere gli stessi risultati.

Le competenze richieste a un valutatore per effettuare una valutazione della sicurezza possono essere suddivise nei seguenti gruppi:

• Metodi di valutazione di base: i valutatori devono possedere competenze di base sui metodi di valutazione (campionamento, osservazione, analisi, registrazione dei risultati, ecc.) e sugli strumenti di valutazione (strumenti specificati dal laboratorio o dall’Organismo di Certificazione a supporto della valutazione, strumenti per la generazione di rapporti, strumenti per la consegna o la protezione di documenti e risultati).
• Metodi di valutazione fondamentali indicati nel CC e nel CEM: i valutatori devono possedere competenze nei metodi e nelle attività di valutazione fondamentali secondo il CC e il CEM, comprendendo il significato dei diversi verbi (controllare, esaminare, determinare, tracciare…) che compongono le azioni del valutatore (Work Unit). I valutatori devono essere in grado di redigere un rapporto di osservazione. Ulteriori competenze richieste per la valutazione di specifiche classi di garanzia della sicurezza sono definite nel capitolo 5.3 della ISO/IEC 19896-3.
• Valutazione di tecnologie specifiche: le competenze specifiche richieste per la valutazione di determinati tipi di tecnologia sono per lo più legate alle attività di ATE (test) per quel tipo di tecnologia. I valutatori devono essere in grado di eseguire i metodi, le attività e le tecniche di valutazione associate al tipo di tecnologia e di comprendere gli standard tecnologici correlati.

I valutatori devono essere in grado di applicare i metodi e gli strumenti definiti in ISO/IEC 20004:2015 “Refining software vulnerability analysis under ISO/IEC 15408 and ISO/IEC 18045” e in OWASP “Penetration Testing Methodologies”. Le tecniche di valutazione per i tipi di tecnologia identificati dallo schema EUCC per l’analisi delle vulnerabilità e i test di penetrazione sono indicate nell’Annex del documento di ENISA “EUCC Scheme state-of-the-art document – Accreditation of ITSEFs for the EUCC Scheme – version 1.1, october 2023”.

Gli skill di ogni valutatore possono essere misurati attraverso colloqui tecnici con il direttore del laboratorio, i risultati delle attività di valutazione, le qualifiche professionali, le certificazioni tecniche e l’istruzione. Le competenze possono anche essere certificate da autorità e/o enti di certificazione attraverso la partecipazione a corsi di formazione e/o esami.

Per ogni argomento, il Direttore del laboratorio assegna al valutatore un valore sulla base della scala di competenza definita. Questi valori vengono aggiornati regolarmente durante la fase di valutazione delle performance e delle competenze dei valutatori (fase di Appraisal).

Effectiveness

I valutatori devono essere in grado di applicare le conoscenze e le competenze in modo produttivo. Gli elementi di efficacia possono riguardare il tempo necessario per svolgere le attività di valutazione, eseguire i test e completarli, il numero e il tipo di commenti ricevuti durante le attività di QA interne o dall’Organismo di Certificazione, la capacità di comprendere nuove tecnologie e strumenti, l’accuratezza dei risultati della valutazione e dei test.

Il laboratorio deve definire dei criteri e una scala per valutare l’efficacia delle attività di un valutatore.

A titolo esemplificativo e non esaustivo, si può ipotizzare una scala a tre valori (Bassa, Media, Alta) dove:

• Bassa indica una efficacia al di sotto delle aspettative (es. ritardi elevati nelle attività svolte, svariati commenti sia interni che esterni,…);
• Media indica una efficacia in linea con le aspettative (es. ritardi contenuti nelle attività svolte, 1-2 commenti sia interni che esterni,…);
• Alta indica una efficacia al di sopra delle aspettative (es. nessun ritardo nelle attività svolte, nessun commento sia interni che esterni,…).

Più specifici e di dettaglio sono i criteri che il laboratorio definisce e maggiore sarà la precisione della misura dell’efficacia

Valutazione finale delle competenze

La valutazione finale delle competenze di un valutatore deve tener conto di tutti gli elementi e deve essere basata su una scala che consenta di indicare il livello di competenza che il valutatore ha acquisito per un particolare ambito.

A titolo esemplificativo, ma non esaustivo, si può utilizzare una scala basata sul Dreyfus Skill Model che prevede una valutazione basata su 5 livelli:

1 – Principiante: ha una conoscenza minima o da manuale senza collegarla alla pratica. Ha bisogno di una stretta supervisione o di una guida. Ha poca o nessuna idea di come gestire la complessità. Tende a considerare le azioni in modo isolato.

2 – Principiante avanzato: ha una conoscenza di base degli aspetti chiave della pratica. È probabile che i compiti più semplici vengano svolti con uno standard accettabile. È in grado di realizzare alcune fasi utilizzando il proprio giudizio, ma ha bisogno di supervisione per il compito complessivo. Vede le azioni come una serie di passi.

3 – Competente: ha una buona capacità di lavoro e una buona conoscenza dell’area di pratica. È in grado di ottenere risultati per i compiti aperti, anche se può mancare il perfezionamento. È in grado di svolgere la maggior parte dei compiti utilizzando il proprio giudizio. Affronta situazioni complesse attraverso un’analisi e una pianificazione deliberate. Vede le azioni almeno in parte in termini di obiettivi a lungo termine.

4 – Professionale: profondità di comprensione della disciplina o dell’area di pratica. Si raggiungono abitualmente standard pienamente accettabili e si ottengono risultati anche in compiti aperti. Capacità di assumersi la piena responsabilità del proprio lavoro (e di quello degli altri, se del caso). Affronta situazioni complesse in modo olistico, prendendo decisioni con sicurezza. Vede il quadro generale e come le singole azioni si inseriscono in esso.

5 – Esperto: conoscenza autorevole della disciplina e profonda comprensione tacita delle aree di pratica. Eccellenza raggiunta con relativa facilità. Capacità di assumersi la responsabilità di andare oltre gli standard esistenti e di creare interpretazioni proprie. Comprensione olistica di situazioni complesse. Si muove con facilità tra approcci intuitivi e analitici. Vede il quadro generale e gli approcci alternativi, ha una visione di ciò che può essere possibile.

Monitoraggio delle competenze e Appraisal

Il processo di valutazione delle competenze dei valutatori va regolarmente monitorato per determinare se i valutatori continuano a soddisfare i requisiti specificati per garantire prestazioni soddisfacenti e identificare l’eventuale necessità di ulteriore formazione specifica. Il monitoraggio della competenza e delle prestazioni dei valutatori è un processo continuo basato sui seguenti strumenti:

• Revisione tecnica: tutte le bozze dei rapporti di valutazione devono essere rivisti ai fini di una garanzia della qualità prima di essere inviate all’Organismo di certificazione. La revisione comprende una verifica della completezza e della coerenza delle informazioni, una revisione del linguaggio e una revisione dei risultati emersi.
• Supervisione in loco: il Lead Evaluator valuta la preparazione e l’esecuzione dei test da parte dei valutatori in base al piano di test. Ciò include la valutazione della loro competenza nell’uso e/o nello sviluppo di strumenti di test per stimolare correttamente le interfacce mirate e per i test di penetrazione.
• Osservazione comportamentale: il direttore del laboratorio osserva l’attitudine dei valutatori a svolgere i loro compiti. Fattori come l’iniziativa, la volontà, l’entusiasmo, la leadership e il lavoro di squadra vengono valutati per stabilire il livello di maturità e di efficienza dei valutatori.

Appraisal e monitoraggio continuo nella gestione competenze valutatori EUCC

I risultati delle attività di monitoraggio vengono discussi durante la valutazione annuale (la cosiddetta fase di Appraisal) dove il Direttore del Laboratorio e il Management incontrano ciascun valutatore per esaminarne le prestazioni e il contributo complessivo all’azienda. Durante l’incontro viene raccolto anche il feedback dei valutatori.

Finalità dell’appraisal annuale

La fase di appraisal ha diversi scopi:

• valutare le prestazioni lavorative del valutatore: il rendimento, coinvolgimento e efficacia del valutatore nei progetti di valutazione vengono discussi e valutati;
• valutare la competenza: si valutano le conoscenze e le competenze di ciascun valutatore con le modalità e i criteri descritti in precedenza e i risultati vengono utilizzati per aggiornare il fascicolo personale del valutatore. In tale fase di identificano eventuali ulteriori esigenze di formazione per il valutatore;
• identificare i punti di forza e le opportunità di miglioramento: la valutazione può aiutare a identificare le aree di miglioramento e di avanzamento di carriera, nonché a sviluppare una strategia per la crescita del valutatore attraverso una formazione supplementare e maggiori responsabilità.
• definire e revisionare gli obiettivi: il Management rivede il grado di raggiungimento degli obiettivi fissati durante l’ultima valutazione e ne stabilisce di nuovi.
• analizzare il contributo allo sviluppo dell’azienda: vengono discussi diversi aspetti, come la conformità alle procedure di sicurezza e di qualità dell’azienda, la conformità alla cultura e ai principi dell’azienda, il contributo al miglioramento della reputazione dell’azienda.

Azioni correttive nella gestione delle competenze dei valutatori EUCC

Quando le prestazioni non sono all’altezza delle aspettative o è necessario un miglioramento, il Management e il Direttore del Laboratorio analizzano le cause e pianificano le necessarie azioni per migliorare delle prestazioni del valutatore (ad esempio, formazione aggiuntiva, lavoro sotto la supervisione di un valutatore più esperto, sviluppo delle capacità di gestione del tempo e dei progetti, ecc.).

Importanza strategica della gestione delle competenze dei valutatori EUCC

Da quanto scritto si evince chiaramente che la valutazione delle competenze dei valutatori è un processo complesso e articolato che richiede l’implementazione di strumenti che riescano il più possibile a ottenere delle valutazioni oggettive ed efficaci.

Tale processo è essenziale nell’ambito delle valutazioni di sicurezza dei prodotti ICT e, in particolare, di quelle in ambito EUCC, per poter soddisfare i requisiti di ripetibilità, oggettività e indipendenza richieste da queste valutazioni. Non è quindi un caso che le norme di riferimento (vedi ISO 17025 per gli ITSEF, ISO 17065 per i CAB) ed ENISA pongano su tale argomento requisiti molto stringenti.

In passato, molti schemi nazionali, incluso l’OCSI, richiedevano che tutti i valutatori dei laboratori da essi accreditati superassero un esame o seguissero un corso obbligatorio con esame finale.  In fase di ri-accreditamento del laboratorio, era prevista una fase specifica di ri-valutazione delle competenze dei valutatori attraverso colloqui specifici e/o ulteriori esami.

Probabilmente in futuro ENISA potrebbe riproporre tale strada, anche se la continua evoluzione della tecnologia e delle tecniche di valutazione evolve molto rapidamente e rischierebbe di rendere inefficaci tali soluzioni.

Formazione e investimenti nella gestione delle competenze dei valutatori EUCC

Rimane quindi fondamentale che un’azienda che intende accreditarsi come laboratorio in ambito EUCC implementi un processo di valutazione e monitoraggio elle competenze dei propri valutatori e, soprattutto, investa in maniera significativa sulla formazione, sia in aula che sul campo, anche attraverso l’acquisizione di certificazioni di mercato.