Il ruolo degli algoritmi nei processi decisionali è sempre più centrale nelle nostre vite e pone diversi quesiti. Possiamo fidarci delle decisioni prese in automatico da una macchina sono davvero affidabili? Quali garanzie abbiamo sulla trasparenza di scelte prese in modo autonomo e a volte discriminatorio da una macchina? Quali metodologie sono state sviluppate per verificare il corretto funzionamento degli algoritmi? Questi sono soltanto alcuni dei temi oggetto del prossimo FUBINAR (webinar online) organizzato dalla Fondazione Ugo Bordoni (FUB) in programma il prossimo 24 settembre dal titolo “Algorithmic Accountability‘’. Ne abbiamo parlato con Joshua A. Kroll, Naval Postgraduate School di Monterey, CA.
Leggi qui l’intervista originale in Inglese pubblicata su Broadband4europe.eu
Key4biz. Il ruolo degli algoritmi nel processi decisionali sta diventando sempre più diffuso. Quali sono i rischi e per contro quali sono i vantaggi principali?
Joshua A. Kroll. Sostanzialmente, noi prendiamo le stesse decisioni e svolgiamo gli stessi compiti di prima, ma i progressi tecnologici fanno sì che uno spettro più ampio di questi compiti sia sbrigato dalla tecnologia piuttosto che dagli uomini. Più cresce il numero di compiti umani che diventano automatizzati, maggiori sono i benefici: le machine sono in grado di svolgere mansioni in modo più rapido e in modo più costante rispetto alle persone, producendo così risultati di alta qualità a costi inferiori, più velocemente, e sus cala più ampia.
Inoltre, l’automazione libera gli esseri umani per altri compiti, concedendo loro più tempo a disposizione e aumentando le loro capacità.
Key4biz. Per esempio?
Joshua A. Kroll. Per esempio, i miglioramenti nella visione artificiale hanno consentito lo smistamento automatico dei materiali riciclabili, aumentando così la percentuale di materiale riciclato recuperato e riducendo il costo del riciclaggio a flusso misto, rendendo così più facile per le persone comuni tenere i propri rifiuti fuori dalle discariche.
E ancora, i piloti automatici sollevano i piloti dall’obbligo di correggere in continuazione la rotta e l’altitudine dell’aereo, lasciando loro il tempo di considerare il piano di volo e come trovare la via più sicura, più comoda e più diretta.
Key4biz. E i rischi?
Joshua A. Kroll. Ci sono due principali rischi derivanti dall’automazione. Il primo è che i meccanismi di supervisione, governance e controllo che abbiamo sviluppato per i nostri processi decisionali nel tempo potrebbero non adattarsi a questa nuova velocità e scala o potrebbero non essere pronti a prendere decisioni sul processo decisionale guidato dal software.
Per esempio, decidere quale contenuto possa o meno essere pubblicato per una pubblicità su un giornale è il lavoro di un editor esparto, e a volte può essere davvero difficile. Ma in un network pubblicitario di dimensioni Internet o in una piattaforma di social media, ci sono troppe pubblicità e troppi contesti per quegli annunci e post perché un essere umano possa esaminarli tutti.
Quindi, si capisce perché quel sistema può essere abusato per vantaggio politico, frode o semplicemente per la commercializzazione di prodotti di bassa qualità. Sono necessari nuovi approcci di governance per gestire questi nuovi problemi, ma non sono così ben consolidati o testati come quelli che funzionano per le tecnologie esistenti.
Key4biz. E il secondo rischio?
Joshua A. Kroll. Il secondo rischio è più sottile: di pari passo con l’aumento delle mansioni umane realizzate dalle macchine, diminuisce invece il numero di esseri umani responsabili di una maggiore produzione dagli stessi sistemi. Di conseguenza, gli altri esseri umani sono meno consapevoli di ciò che sta accadendo e meno esperti su come far funzionare il sistema.
Un esempio facile da capire di ciò che voglio dire è quello delle persone che seguono il GPS sui loro telefoni e non capiscono più come leggere le mappe come una volta. A volte, un conducente a cui viene chiesto di “svoltare a sinistra” lo farà immediatamente e finirà in un campo, invece di svoltare al prossimo incrocio. In casi più elaborati, l’automazione confonde anche gli operatori più addestrati come i piloti di linea o le squadre di guida delle navi.
Key4biz. Questi rischi possono anche sovrapporsi.
Joshua A. Kroll. Sì. Ad esempio, se all’improvviso un’auto a guida autonoma passa il controllo del mezzo ad un umano e l’auto si blocca pochi secondi dopo, dovremmo incolpare l’operatore umano per non aver impedito l’incidente o l’automazione dell’auto per non comprendere le condizioni della strada? La responsabilità legale dell’incidente dovrebbe ricadere sull’essere umano, sul fornitore del software o sull’azienda che ha costruito l’auto? Come si definiscono gli standard per il comportamento di questi nuovi sistemi di ensemble uomo-macchina? Tutte queste sono questioni difficili.
Key4biz. Cosa bisogna fare per raggiungere una più ampia responsabilità (accountability) nei processi decisionali degli algoritmi?
Joshua A. Kroll. E’ importante considerare queste nuove tecnologie nel contesto dei sistemi di cui fanno parte. In sostanza, stiamo cercando la responsabilità nell’iniseme di quei sistemi, non soltanto per quanto riguarda gli algoritmi stessi. Ad esempio, se i medici utilizzano uno strumento software per aiutarli a diagnosticare i tumori nei test di imaging (raggi X, risonanza magnetica, ecc.), il medico rimane responsabile della diagnosi e deve conoscere a sufficienza lo strumento e il caso per prendere una buona decisione. Ovviamente, sarà più facile decidere per il meglio se il software è più accurato o può essere verificato, ma l’accountability riguarda chi è responsabile e non lo strumento.
Key4biz. Ma in troppi sistemi la responsabilità è opaca.
Joshua A. Kroll. E’ così. le aziende e i governi prendono decisioni per procura o non conservano registri che spiegano perché o addirittura come sono state prese le decisioni. Quando i sistemi sono complessi, molti fattori possono portare a problemi e incidenti. Il desiderio di fornire una “causa principale” per un fallimento può essere fuorviante. Ad esempio, nel 1996, il primo volo del nuovo veicolo di lancio dell’ESA, l’Ariane 5, finì con un’esplosione. I costi diretti superavano i 500 milioni di euro e un programma multimiliardario è stato ritardato di circa 10 anni.
Sebbene il razzo abbia deviato dalla rotta a causa di un errore del software, la commissione d’inchiesta non diede la colpa ai programmatori.
Key4biz. Perché?
Joshua A. Kroll. Perché altre decisioni di progettazione avevano portato i programmatori a ricevere requisiti che portavano a un progetto finale rischioso. Nessuno aveva previsto quel rischio, e poche risorse sono state allocate per testare o simulare il nuovo sistema in modi adeguati a scoprirlo.
Key4biz. Quindi, come rendere i sistemi automatizzati passibili di valutazione?
Joshua A. Kroll. Per rendere responsabili i sistemi automatizzati, dobbiamo guardare ai modi in cui i sistemi umani esistenti sono responsabili e tentare di (1) adattarli per includere nuovi componenti guidati dalla macchina o dal software; e (2) migliorare la loro capacità di comprendere e ragionare su tali componenti.
Ciò significa migliorare ed educare le strutture di controllo esistenti, ma anche creare nuovi metodi. Ad esempio, a differenza delle decisioni umane o burocratiche, le decisioni prese dal software possono essere registrate e replicate con esattezza. Perciò, dobbiamo sviluppare una nuova disciplina di controllo, tracciamento e verifica del sistema software. Parte di questa nuova disciplina dovrà essere eseguita dagli organismi che creano e gestiscono i sistemi software. Ma altre parti di questa nuova disciplina potrebbero essere realizzate aprendo porzioni di quei sistemi a ricercatori, giornalisti o al pubblico. Ci sono molte opportunità.
Key4biz. Chi dovrebbe essere considerato responsabile per eventuali errori dell’algoritmo? Ci dovrebbe sempre essere una persona responsabile per il corretto uso degli algoritmi?
Joshua A. Kroll. In definitiva, sì, qualcuno deve essere responsabile. E quando le decisioni vengono prese dagli esseri umani, generalmente riteniamo loro responsabili. Ma ciò diventa più difficile quando gli esseri umani lavorano in gruppi o organizzazioni. Se una commissione vota su una decisione e tale decisione porta a un incidente in cui muoiono delle persone, dovremmo considerare responsabili anche i membri della commissione che hanno votato contro la decisione? Questo non è un problema nuovo, ma è un problema difficile da risolvere. Dobbiamo organizzare il processo per prendere decisioni in modo che qualcuno o qualche organizzazione sia sempre responsabile.
Key4biz. E qui c’è qualche rischio?
Joshua A. Kroll. Un rischio qui è che, se qualcuno è sempre responsabile, le persone non vorranno fare cose nuove o correre rischi. Ma in molti casi è possibile gestire questi rischi: gli aerei di linea sono complicati, ma generalmente volano in modo molto sicuro perché quella complessità e il rischio associato sono gestiti con attenzione. Quella gestione avviene grazie ad una buona ingegneria ma anche ad altri fattori di tipo politico e culturale: ad esempio, nessuno accusa l’equipaggio per aver segnalato rischi o problemi di sicurezza.
Nel settore finanziario degli Stati Uniti, esiste una disciplina di “gestione del modello di rischio” che dovrebbe dimostrare le pratiche di gestione del rischio alle autorità di regolamentazione. Non è perfetto, ma bilancia la cautela con l’assunzione di nuovi rischi. Ovviamente, i giudizi sui rischi possono essere clamorosamente sbagliati – questo è quello che è successo nella crisi finanziaria del 2008. Ma questo mostra qualcos’altro: in quella crisi, le sentenze erano sbagliate perché le agenzie di rating del credito che le facevano erano pagate per giudicare i rischi più bassi. Nessun controllo tecnico può essere più forte dell’organizzazione che lo utilizza.
Key4biz. Professore, Nel suo lavoro hai nominato un nuovo toolkit tecnologico per verificare la conformità delle decisioni automatizzate: puoi descrivere il toolkit ei principali vantaggi di esso? Come funziona?
Joshua A. Kroll. Il mio lavoro suggerisce di costruire una sorta di percorso di audit per gli algoritmi, che registra quali erano gli input e gli output e come dovrebbero essere correlati. Utilizzando un po’ di informatica e crittografia, è possibile strutturare questo percorso di audit in modo che gran parte degli algoritmi restino segreti e tuttavia verificare che la mia decisione è stata presa con le stesse regole della tua decisione. Successivamente, è possibile mostrare il percorso di audit a un’entità di supervisione come un tribunale o un regolatore per stabilire se una decisione specifica sia stata appropriata. Inoltre, il processo di supervisione può rivedere le regole in segreto e annunciare che sono accettabili, che non utilizzano dati inappropriati o discriminano, ad esempio.
Penso che questo tipo di controllo (accounting) costituisca il livello base per le strutture di responsabilità di cui abbiamo bisogno per assicurarci che il nostro nuovo mondo automatizzato sia governato allo stesso livello a cui siamo abituati. Questo approccio non risolve tutti i problemi – alcune regole potrebbero sembrare a posto ma sfavorire in modo inappropriato persone o gruppi specifici, e questo può essere difficile da individuare – ma fornisce una base importante.
In molte applicazioni importanti, la trasparenza non è nemmeno possibile. Ad esempio, se sono coinvolti dati privati, probabilmente non puoi rivelarli: abbiamo questo problema con il censimento negli Stati Uniti.
Per legge, l’agenzia nazionale che svolge il censimento non può rivelare ciò che le persone mettono nei loro moduli di risposta, ma è stato storicamente possibile fare buone ipotesi sulle risposte dalle statistiche aggregate che l’agenzia produce. Pertanto, l’agenzia si sta muovendo per utilizzare un moderno strumento per la privacy per garantire che ciò non sia possibile in futuro. Questo è un problema difficile, a livello di ricerca, ma stanno facendo progressi. Bisogna raggiungere dei compromessi, perché lo strumento richiede loro di aggiungere rumore ai dati e questo rende difficile per gli studiosi della popolazione utilizzare i dati nel modo in cui sono abituati. Non è una soluzione perfetta, ma è un passo in una buona direzione. In questo modo, possono essere trasparenti su come proteggono i dati privati e le statistiche che producono, assicurandosi anche di proteggere i dati delle persone.
Key4biz. E cosa succede con le lotterie?
Joshua A. Kroll. Le lotterie sono il mio esempio preferito. Le lotterie sono perfettamente trasparenti: sappiamo esattamente come dovrebbero funzionare e la trasparenza è il loro punto centrale. Anche se comprendiamo esattamente come viene scelto il vincitore, non possiamo prevedere chi sarà il fortunato. Né possiamo replicare il risultato. Se ti dicessi che ho organizzato una lotteria nella stanza che si trova nel retro di una discoteca, ad esempio, probabilmente non vorresti comprare un biglietto perché potrei continuare a scegliere il vincitore fino a quando uno dei miei amici non vince. E per questo non compri il biglietto. Probabilmente non vinceresti mai. Questi problemi peggiorano quando le lotterie vengono eseguite su computer per motivi tecnici interessanti. Ma il risultato è che ci sono stati molti casi interessanti di frode alla lotteria che coinvolgono lotterie di computer. Un caso interessante è la lotteria che è stata utilizzata nel 2012 per determinare chi avrebbe ottenuto alcuni visti di immigrazione per vivere negli Stati Uniti. Un bug nel programma aveva fatto sì che il sistema scegliesse per lo più persone che avevano presentato domanda nei primi giorni del periodo di applicazione. Ma il processo è stato giudicato illegale da un tribunale, poiché non dava a tutti i richiedenti le stesse possibilità. Quindi, anche se i vincitori erano stati informati, molti di loro non hanno ottenuto i visti.
In generale, il punto è che la trasparenza aiuta, ma non è sempre desiderabile e, anche quando ce l’hai, potrebbe non darti ciò che desideri.
Key4biz. In generale, la responsabilità dell’algoritmo è fondamentale per garantire gli interessi dei cittadini e della società nel suo insieme. Come garantire la responsabilità?
Joshua A. Kroll. Come ho detto, la cosa importante è la responsabilità dell’intero sistema, non solo degli algoritmi. Come dici tu, sono gli interessi dei cittadini e della società nel suo insieme che contano. Penso che se partiamo da quella prospettiva, vediamo più chiaramente l’insieme dei possibili interventi.
Ad esempio, attualmente negli Stati Uniti è in corso una discussione politica sul fatto che le grandi piattaforme tecnologiche siano monopoli illegali. Senza prendere una posizione su questa questione, possiamo chiederci se spacchettare queste piattaforme servirebbe gli interessi a cui teniamo veramente. La verità è che molte piccole piattaforme hanno gli stessi problemi e le cose che possiamo fare per servire gli interessi della società non sono direttamente rilevanti per i problemi di concorrenza, anche se la concorrenza potrebbe spingere le grandi piattaforme a prendere i problemi più seriamente. Ma interventi come il miglioramento della capacità delle agenzie di supervisione o la richiesta di audit di terze parti o l’istituzione di linee guida per la gestione del rischio potrebbero avvenire prima o dopo l’applicazione della concorrenza.
Questi problemi riguardano il potere, non la tecnologia. La tecnologia può centralizzare il potere, ma può anche democratizzarlo. Dobbiamo lavorare per assicurarci che faccia il secondo.
Key4biz. È possibile verificare e prevenire il rischio di discriminazione nei processi decisionali algoritmici?
Joshua A. Kroll. Conosciamo molti modi per identificare e misurare la discriminazione nei processi decisionali e alcuni modi per risolvere questi problemi. La comunità del Machine learning è molto interessata a stabilire l'”equità”, ma la legge e i nostri strumenti sono entrambi migliori per stabilire l’ingiustizia o la discriminazione. Molto spesso, il problema è ancora una volta una dinamica di potere e se il processo decisionale favorisce sistematicamente determinati gruppi. Ciò può accadere a causa di pregiudizi nei dati, che spesso possono essere visti con un attento controllo, sebbene possa anche essere un problema sottile o insidioso.
Key4biz. Quindi?
Joshua A. Kroll. Ma può anche accadere a causa del modo in cui viene stabilito l’obiettivo di un sistema, che non ha nulla a che fare con i dati alla base di un sistema o con la progettazione di quel sistema. Ad esempio, esiste una serie di strumenti che hanno lo scopo di automatizzare il processo di colloquio analizzando i video dei candidati. Non siamo ancora al punto in cui l’intelligenza artificiale può comprendere le risposte che il candidato dà alle domande dell’intervista e questi sistemi sembrano funzionare analizzando le emozioni del richiedente espresse attraverso il comportamento facciale. Ovviamente, non c’è motivo di credere che i piccoli movimenti del viso di un candidato durante il colloquio di lavoro abbiano qualcosa a che fare con le sue prestazioni lavorative. Questi sistemi sono essenzialmente la versione del 21° secolo della frenologia, che prende decisioni basate su variazioni di caratteristiche irrilevanti. Tuttavia, molte aziende fanno affidamento su questi strumenti, che molto probabilmente sono discriminatori nei confronti di attributi protetti come razza, stato di salute o disabilità. Il rischio qui non è che il sistema si basi su dati di parte o che qualcuno abbia fatto qualcosa di sbagliato nel processo di costruzione di questi modelli. È che il problema che il sistema sta cercando di risolvere è mal formulato. Non esiste una versione “giusta” della frenologia e sarebbe sbagliato cercare di perseguirne una.
Key4biz. In conclusione?
Joshua A. Kroll. Ancora una volta, è una questione di gestione del rischio. Qui, i rischi stanno nella decisione di costruire o acquistare un determinato prodotto o di utilizzare un determinato processo per una funzione delicata come l’assunzione. Un’azienda potrebbe dire “va bene, perché le decisioni finali di assunzione sono prese da esseri umani e gli strumenti automatizzati vengono utilizzati solo per lo screening”. Ma cosa succede alle persone che vengono escluse da questi strumenti? Hanno l’opportunità di opporsi? E che dire della manipolazione? In Corea, gli studenti universitari prendono lezioni per imparare a ottenere buoni risultati in queste valutazioni automatizzate. Quindi puoi vedere che il processo rafforza le strutture di potere esistenti piuttosto che essere più “oggettivo” attraverso l’uso dell’automazione.