La preselezione, la correzione delle prove e la formazione delle graduatorie saranno affidate alle macchine
Nell’esperienza statunitense, che ha già sperimentato l’uso di algoritmi per finalità predittive, ad esempio della possibilità di recidiva di reato, è stato rilevato che gli algoritmi producevano decisioni discriminatorie, indicando come più probabile la recidiva tra persone di colore rispetto a individui bianchi. Ed è stato appurato che la discriminazione dipendeva dai dati di input su cui era stato formato l’algoritmo. Altrettanto rinomato è il caso delle assunzioni di Amazon, dove l’algoritmo, che non aveva “esperienza” nel reclutamento di candidati donne in certi ruoli, finiva per creare discriminazioni di genere, scartando automaticamente i profili femminili.
Il caso degli esami annullati in Gran Bretagna
Lo scorso agosto, in Gran Bretagna, la protesta degli studenti ha portato alle dimissioni del Ministro dell’istruzione,dopo il tentativo fallimentare del governo britannico di utilizzare un algoritmo in sostituzione degli esami pubblici che non si erano potuti svolgere a causa della pandemia. Molti studenti sono stati ingiustamente declassati dalla prima qualifica che era necessaria per chiedere l’ingresso nelle migliori università. Questo a causa di errori nell’algoritmo che si fondava sui risultati degli anni precedenti o di altre commissioni di esame e non rifletteva accuratamente il livello di conoscenza, abilità e comprensione degli studenti esaminati. Il Parlamento inglese ha attualmente in corso un dibattito acceso sugli standard costituzionali da rispettare nell’utilizzo dell’intelligenza artificiale nel settore pubblico.
I principi da rispettare: (1) algoritmo conoscibile e comprensibile
Considerata l’inarrestabile evoluzione della tecnologia e il suo sempre preponderante impiego nei processi decisionali che producono conseguenze giuridiche nella sfera delle persone, occorre conoscere i principi cardine che questi processi devono rispettare. Molti di questi principi possono essere desunti dal vigente Regolamento sui dati personali GDPR. Innanzitutto è indispensabile che l’algoritmo che sostituisce la decisione dell’uomo sia conoscibile da parte dei destinatari delle decisioni finali. Il principio della conoscibilità si ricava dall’art. 13 comma 2 lett. f) e dall’art. 14 comma 2 lett. g del GDPR, per i quali ciascuno ha diritto a conoscere l’esistenza di processi decisionali automatizzati che lo riguardano e a ricevere informazioni sulla logica utilizzata. Le norme del GDPR vanno lette in combinato disposto con l’art. 42 della carta europea dei diritti fondamentali, che configura l’obbligo della Pubblica amministrazione di consentire l’accesso ai documenti su cui si fonda la decisione e di rendere conoscibili le modalità di decisione. In secondo luogo deve essere comprensibile, ovvero deve essere possibile comprendere la logica utilizzata dall’algoritmo. Non basta quindi che l’algoritmo utilizzato sia preciso nella sua capacità predittiva ma è necessario che si fondi su una logica comprensibile e non ad esempio su quelle conosciute come logiche fuzzy o sfumate.
I principi da rispettare: (2) processo decisionale automatizzato non esclusivo
Il precedente del TAR Lazio: il processo decisionale automatizzato deve essere “non esclusivo”. Il processo decisionale automatizzato dovrebbe poi essere non esclusivo, ovvero dovrebbe essere integrato dal controllo dell’uomo. Il principio è stabilito dall’art. 22 del GDPR. Esiste un precedente nella giurisprudenza del TAR Lazio (sent. 10964/2019) nel quale si annulla l’ordinanza di assegnazione dei docenti effettuata esclusivamente tramite intelligenza artificiale. Secondo i giudici amministrativi, non vi sarebbe stata vera e propria attività amministrativa “essendosi demandato ad un impersonale algoritmo lo svolgimento dell’intera procedura di assegnazione dei docenti alle sedi disponibili nell’organico dell’autonomia della scuola”. E tuttavia l’art. 22 del GDPR prevede anche delle eccezioni che rendono legittima, in alcuni casi tassativi, una decisione totalmente automatizzata: se c’è il consenso della persona interessata, o se la decisione è necessaria per concludere un contratto oppure se c’è una legge nazionale o dell’Unione Europea che autorizza l’automatizzazione del processo decisionale. Al momento, nessuno dei tre casi si adatta a legittimare la preselezione digitale dei concorsi come configurato dalla riforma Brunetta. Non il primo, perchè il candidato che è in posizione di disparità rispetto all’Amministrazione, non potrebbe esprimere un consenso veramente libero. Non il secondo, perché trattandosi di una scelta politica e discrezionale, mancherebbe il requisito della “necessità”. Neppure la terza, perchè non c’è ancora una legge che disciplini la materia e che preveda idonee garanzie a tutela dei diritti fondamentali delle persone coinvolte dalle decisioni. D’altro canto, non è ancora stato approvato dal Parlamento Europeo il Regolamento sull’intelligenza artificiale, che costituirà la cornice giuridica dove precisare i limiti del ricorso all’IA e le garanzie a tutela dei diritti fondamentali delle persone.
I principi da rispettare: (3) Algoritmo non discriminatorio
Se dovesse intervenire una legge ad hoc per autorizzare il processo automatizzato nella selezione dei candidati, dovrebbero ancora essere adottate le cautele espressamente contenute nel considerando n. 71 del GDPR. e finalizzate a tutelare i diritti fondamentali e ad impedire effetti discriminatori fondati su sesso, razza, etnia, opinioni politiche, religione, convinzioni personali, status genetico, status di salute. “…tale trattamento dovrebbe essere subordinato a garanzie adeguate, che dovrebbero comprendere la specifica informazione all’interessato e il diritto di ottenere l’intervento umano, di esprimere la propria opinione, di ottenere una spiegazione della decisione conseguita dopo tale valutazione e di contestare la decisione. Tale misura non dovrebbe riguardare un minore. Al fine di garantire un trattamento corretto e trasparente nel rispetto dell’interessato, tenendo in considerazione le circostanze e il contesto specifici in cui i dati personali sono trattati, è opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, metta in atto misure tecniche e organizzative adeguate al fine di garantire, in particolare, che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori e al fine di garantire la sicurezza dei dati personali secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell’interessato e impedisca, tra l’altro, effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell’origine etnica, delle opinioni politiche, della religione o delle convinzioni personali, dell’appartenenza sindacale, dello status genetico, dello stato di salute o dell’orientamento sessuale, ovvero un trattamento che comporti misure aventi tali effetti. Il processo decisionale automatizzato e la profilazione basati su categorie particolari di dati personali dovrebbero essere consentiti solo a determinate condizioni”