Nei giorni scorsi ho avuto il piacere di intervistare Francesca Rossi di IBM, uno dei nomi più noti dell’intelligenza artificiale italiana e internazionale.
Francesca Rossi è IBM Fellow e Global Leader sull’Etica dell’AI in IBM e lavora al centro di ricerca IBM T.J. Watson di New York, USA.
La sua ricerca si concentra nell’ambito dell’Intelligenza Artificiale, tema sul quale ha pubblicando circa 200 tra articoli scientifici in riviste e convegni internazionali. Prima di lavorare in IBM, fino a 5 anni fa, è stata professore di informatica presso l’Università di Padova per 20 anni.
È un fellow dell’associazione europea dell’AI (EurAI) e di quella internazionale (AAAI), ed è stata presidente dell’IJCAI (International Joint Conference on Artificial Intelligence) e editore della rivista JAIR (Journal of AI Research). Partecipa a numerose iniziative riguardo l’etica dell’AI, quali il Future of Life Institute, il Leverhulme Centre for the Future of Intelligence, la Partnership on AI e il Gruppo di esperti di IA della Commissione Europea.
Nel 2020 è stata il general chair del più importante convegno mondiale di AI (AAAI 2020), tenutosi a New York.
Luca Sambucci. Cosa sono i bias dell’intelligenza artificiale e che impatto hanno a livello pratico?
Francesca Rossi. Un punto di grande attenzione per quanto riguarda l’addestramento dell’intelligenza artificiale è quello relativo alla possibilità che possa portare con sé dei pregiudizi (bias) inducendo poi l’AI a prendere decisioni discriminatorie e sbagliate.
Ad esempio, quando una banca nega il mutuo ad una persona, non vogliamo che questa decisione sia basata su fattori quali etnia o genere. Vogliamo che si basi solo su dati che siano rilevanti per l’erogazione del credito e la capacità o meno di restituirlo. Se si usano tecniche come quelle di machine learning, la discriminazione potrebbe essere nascosta nella grande quantità di esempi forniti alla macchina per istruirla. Se questi esempi non rappresentassero tutta la pluralità delle possibili situazioni, per la macchina sarebbe difficile generalizzare bene. Nel concreto, se gli esempi contenessero solo casi di mutui elargiti a uomini e rifiutati a donne, la macchina assocerà il genere all’accettazione della richiesta: quando le verrà chiesto di analizzare una nuova domanda di credito, potrebbe usare questa caratteristica del richiedente per proporre, oppure no, l’accettazione.
Quindi, è veramente importante che i dati con cui la macchina viene istruita siano curati con grande attenzione. Il processo di apprendimento da parte della macchina è reso ancora più complesso dal fatto che le caratteristiche su cui non vorremmo discriminare sono molte e spesso correlate tra loro. È comunque incoraggiante che molti ricercatori stiano già lavorando su queste problematiche, con soluzioni di vario tipo che presto potranno essere inserite in ogni strumento di AI. IBM è fortemente impegnata sia nella ricerca dei bias sia nelle iniziative internazionali che mirano ad individuare principi e best-practices per progettare, sviluppare e utilizzare l’AI con un impatto positivo per tutti. Alcuni esempi sono i toolkit open-source che abbiamo creato per la fairness, la robustezza e la spiegabilità, oltre alla partecipazione a iniziative come la Partnership on AI e la stesura di documenti come la recente Rome Call for AI Ethics promossa dalla Pontificia Accademia per la Vita.
Luca Sambucci. Algorithmwatch il mese scorso ha evidenziato un pericoloso bias razziale nell’AI di Google: un oggetto tenuto in una mano veniva riconosciuto come un innocuo monocolo se la mano era di pelle bianca, e come una pistola se la mano era di pelle nera (l’oggetto in realtà era un termometro a infrarossi). Facendo delle prove con IBM Watson abbiamo visto che anche l’AI di IBM fornisce – con la stessa immagine – responsi diversi a seconda del colore della mano: innocui se la mano è bianca e più pericolosi se la mano è nera. Perché avviene questo? E cosa deve fare il settore per scrollarsi di dosso o perlomeno mitigare il più possibile questi bias?
Francesca Rossi. La prima cosa da considerare è che il modello Watson Visual Recognition è addestrato su immagini reali. Significa che i dati di training che utilizziamo sono un insieme di immagini vere e non manipolate. Le immagini artefatte, di conseguenza, potrebbero non produrre risultati altrettanto rappresentativi quanto quelli rilevati attraverso immagini reali. Dal nostro esame è emerso che la mano di colore più chiaro è stata manipolata utilizzando tecniche neanche troppo sofisticate. Questa mano, quindi, non era una rappresentazione accurata di una mano appartenente a una persona reale con una tonalità di pelle chiara. Per confermare questo punto, il nostro team ha individuato l’immagine originale, ha fatto un ritaglio più preciso della mano e ha testato nuovamente l’immagine con mani rese in diversi colori. A questo punto i risultati hanno mostrato che la presenza o meno di responsi errati e con connotazione negativa (come una pistola) è indipendentemente dal colore delle mani. Quindi il problema individuato non è un problema di bias relativo al colore della pelle, ma potrebbe invece essere correlato alla manipolazione dell’immagine. Da notare anche che le interpretazioni errate e negative hanno un livello di confidenza vicino allo 0.5, quindi un innalzamento della soglia di confidenza (ad esempio a 0.55) evita la loro presenza.
Ma è anche molto importante sottolineare che la valutazione del possibile bias in un modello non può essere effettuata usando solo pochi esempi, ma deve seguire un metodo con dati statisticamente significativi. Dal comportamento di un modello su due esempi (di cui uno non realistico) non è possibile derivare né che il modello contiene un bias (se i due esempi mostrano un responso diverso) né che non lo contenga (se i due esempi danno lo stesso responso). In sintesi, la ricerca dei bias e l’addestramento dell’AI vanno ben oltre un semplice test eseguito con due foto dai colori alterati.
IBM si affida agli specialisti e scienziati presenti nei suoi laboratori di ricerca in tutto il mondo, dove si lavora costantemente al miglioramento dei modelli AI e delle metodologie per il loro training. La rilevazione di bias parte dalla scelta di una nozione di non-discriminazione (fairness), che va fatta con le comunità che saranno maggiormente impattate dalle decisioni supportate dalla tecnologia. Questa nozione viene poi usata in modo concreto dai nostri sviluppatori per individuare possibili bias (cioè violazioni della nozione di fairness) nei dati di training o nel modello AI sviluppato. Ogni soluzione per uno specifico cliente parte da un modello pre-allenato che poi viene modificato sulla base dei dati del cliente stesso e delle sue necessità. Molte fasi di test, sia del modello di base sia di quello per il cliente, vengono effettuate per controllare l’eventuale presenza di bias ma anche per individuare possibili altre criticità relative, ad esempio, ad aspetti legati alla precisione, robustezza, privacy, e sicurezza del modello.
Mentre i modelli per i clienti non vengono pubblicati, in quanto sono proprietari, i modelli di base sono resi disponibili a tutti in modo che chiunque possa effettuare test e verificare il loro comportamento. Riceviamo con grande interesse e spirito di miglioramento il risultato di un test come il suo: ci permette di innescare una verifica più approfondita delle proprietà dei nostri modelli.
Luca Sambucci. Nello specifico, cosa sta facendo IBM per eliminare i bias, allineare i valori e costruire un’intelligenza artificiale etica?
Francesca Rossi: Da più di 100 anni IBM lavora per un’innovazione responsabile e capace di portare benefici a tutti e non solo a pochi. Questa filosofia viene applicata anche all’intelligenza artificiale: puntiamo a creare e mettere a disposizione una tecnologia affidabile che possa complementare ed espandere le capacità decisionali degli esseri umani, non di sostituirle. Lo abbiamo anche messo per iscritto nei Principles for Trust and Transparency pubblicati nel 2017.
In linea con questi principi, abbiamo attivato diverse iniziative per fare in modo che la nostra tecnologia sia affidabile, monitorando e migliorando costantemente le sue proprietà. Collaboriamo attivamente anche con molte istituzioni, aziende, governi e organizzazioni della società civile quali le Nazioni Unite, il World Economic Forum, il Governo americano, la Commissione Europea e le società di professionisti del settore come “IEEE” e “Partnership on AI”. Lo scopo che ci anima è quello di dar vita ad un approccio multidisciplinare, trasparente e condiviso per lo sviluppo di una AI positiva per tutti.
Per quanto riguarda i bias nell’intelligenza artificale, IBM ha sviluppato già da anni vari algoritmi per individuare e mitigare i pregiudizi nei dati di training. Nel 2018 abbiamo creato il toolkit AI Fairness 360, mettendolo a disposizione della comunità open source. Il toolkit comprende algoritmi, codice, dati, metriche e tutorial in grado di offrire ad accademici, ricercatori e data scientist strumenti e conoscenze per definire concetti di fairness (equità) e confrontare nuovi algoritmi per individuare e mitigare i bias nei modelli di AI.
La gestione del bias in AI è solo uno dei pilastri del nostro approccio alla trustworthy AI, che include anche soluzioni per la spiegabilità, la robustezza e la trasparenza. Come per i bias, anche per la spiegabilità e la robustezza abbiamo creato dei toolkit open-source. Mentre per la trasparenza abbiamo definito una metodologia, chiamata “AI factsheet”, che permette di documentare le scelte di progetto e sviluppo e condensarle in un formato utile a aziende, utenti o altri stakeholders.
Abbiamo anche creato una governance interna, guidata da un AI Ethics board in cui è rappresentata ogni divisione dell’azienda, che coordina tutte le attività relative all’etica dell’AI assicurando trasparenza, supporto e valutazione di ogni nuovo prodotto con possibili ripercussioni etiche. Questo comitato permette di assicurare che lo sviluppo e il rilascio della tecnologia AI di IBM sia in sintonia con i nostri valori e il nostro impegno a portare queste tecnologie nel mondo in modo responsabile.
Tra le attività di collaborazione con enti e istituzioni, cito con grande piacere l’ultima in ordine di tempo: il 28 febbraio scorso IBM ha sottoscritto con la Pontifica Accademia per la Vita un importante documento sostenuto anche da Papa Francesco: la Call for AI Ethics.
Questo “manifesto” è il risultato di un’ampia collaborazione in cui abbiamo potuto osservare una comunanza di intenti e di valori che ci ha permesso di contribuire attivamente alla stesura del testo. La centralità del documento sta nell’impegno a lavorare per un’intelligenza artificiale che sia sempre a supporto, e non in sostituzione, delle persone, allineata ai valori di inclusione, solidarietà e trasparenza.
Luca Sambucci. Proprio in merito a quest’ultimo punto, sono già stati pubblicati molti regolamenti, guide e codici etici per l’intelligenza artificiale, da numerosi governi a diversi organismi sovranazionali, oltre ovviamente alle aziende più importanti. Cosa ne pensa di questa proliferazione di guide e codici etici per l’AI?
Francesca Rossi. L’approccio multidisciplinare è l’unico possibile. Gli esperti di intelligenza artificiale possono trovare soluzioni tecnologiche e scientifiche a problemi etici nell’uso dell’Intelligenza Artificiale, ma questi vanno identificati e studiati insieme ad esperti di molte altre discipline come psicologi, sociologi, filosofi, avvocati, ed economisti. Le barriere tra le discipline vanno eliminate e gli esperti devono lavorare insieme per scambiare e confrontare conoscenze e soluzioni complementari. Vanno inoltre coinvolte tutte le comunità che hanno a che fare con l’IA: chi la progetta, chi la produce, chi la usa e chi basa le sue decisioni su questa tecnologia. E la discussione va effettuata su scala globale, coinvolgendo attori in varie culture e geografiche. Perché l’AI avrà sempre di più un impatto globale e ha quindi bisogno di linee guida etiche e valori di riferimento ampiamente condivisi.
Molte sono le iniziative globali già in atto che IBM ha fondato o a cui partecipa attivamente. La Partnership on AI, per esempio, fondata nel 2017 da IBM e altre aziende, conta oggi più di 100 membri in tutto mondo e intende definire e condividere le best practices per l’uso dell’AI con un impatto positivo sulle persone e la società. Il Gruppo di esperti di AI della Comunità Europea, di cui ho l’onore di far parte, include 52 persone che rappresentano tutte le discipline citate sopra e anche organizzazioni che tutelano i diritti dei consumatori e dei cittadini. Questo gruppo ha lo scopo di aiutare la Commissione Europea a declinare le linee guida etiche per l’AI in Europa e le possibili politiche per finanziare e supportare l’innovazione.
Mentre le linee guida e i principi sono certamente fondamentali, è però necessario anche tradurli in azioni concrete che abbiano un impatto sulla tecnologia che le aziende sviluppano e usano. Per questo, come ho già detto, IBM non si è fermata ai principi ma ha anche creato iniziative di ricerca, sviluppo, e governance dell’AI che mirano a creare una tecnologia affidabile e positiva.
Luca Sambucci. Parliamo allora di azioni concrete, cosa può fare oggi un’organizzazione che decide di dotarsi di un software di intelligenza artificiale per assicurarsi che la soluzione scelta sia “etica”?
Francesca Rossi. Ogni azienda o organizzazione che intenda dotarsi di un sistema di intelligenza artificiale deve scegliere un partner affidabile, che possa garantire in modo trasparente come opera. Ciò è fondamentale per arrivare a ottenere un’intelligenza artificiale che segua principi etici e morali.
La fiducia nell’AI deve essere basata su principi quali la non-discriminazione, la trasparenza, la spiegabilità, la robustezza e il rispetto della privacy. La non-discriminazione è uno dei valori più importanti, per il quale esistono algoritmi che possono controllare o modellare un sistema di AI. La trasparenza permette di capire e comunicare le capacità e i limiti della tecnologia che usiamo. La spiegabilità è fondamentale per poter capire perché un sistema di AI prende certe decisioni e come poterle eventualmente correggere o impugnare per vie legali. La robustezza consente una maggiore flessibilità in caso fosse necessario cambiare il progetto in corso d’opera. Infine, il rispetto della privacy dipende sia dalle proprietà dell’AI che dal suo uso.
Come detto, in IBM possiamo contare su una struttura interna, un comitato per l’etica dell’intelligenza artificiale, che ci aiuta a valutare gli aspetti delicati di ogni proposta di prodotto per un cliente: essa deve segue i principi e le linee guida sull’etica dell’AI che ci siamo dati all’interno dell’azienda, tra cui che la raccolta dati avvenga nel rispetto dei diritti fondamentali dell’uomo, della dignità e della privacy delle persone. Se non è così, noi non partecipiamo all’iniziativa o non firmiamo il contratto.