Cresce nelle nostre vite la presenza degli algoritmi e di pari passo aumenta anche la preoccupazione per la sensazione di opacità che spesso i sistemi automatici portano con sé. Il funzionamento e soprattutto la responsabilità degli algoritmi sono un tema complesso e multidisciplinare, sempre più urgente su vari fronti a partire da quello giuridico. Questo in sintesi il tema del Fubinar ‘Algorthmic accountability: Affidabilità e responsabilità degli algoritmi”.
Hanno partecipato Antonio Sassano, Presidente, Fondazione Ugo Bordoni; il Professore di Computer ScienceJoshua A. Kroll, Naval Postgraduate School di Monterey, CA (Keynote “A path towards Trustworhy and Responsible AI”); Fabio Bassan,Università di Roma Tre; Giovanna De Minico, Università di Napoli “Federico II” e Comitato scientifico FUB; Giuseppe Francesco Italiano, Università Luiss “Guido Carli”; Stefano Quintarelli, European Artificial Intelligence High Level Group; moderatore Marco Bianchi, Ricercatore, Fondazione Ugo Bordoni.
La domanda di fondo
“La domanda di fondo è quali tecniche debbano essere messe in campo perché gli algoritmi rendano conto delle loro attività”, ha detto Antonio Sassano, presidente della Fub, aprendo i lavori. Ma “Le logiche che conducono algoritmi sofisticati e in grado di individuare soluzioni ottime o subottime di alta qualità, sono difficilmente spiegabili. Anche da parte dello stesso progettista”, ha aggiunto.
Trade off fra efficienza e accountability
“trade-off” tra efficienza e “accountability”: possiamo rendere i nostri algoritmi “spiegabili” riducendo la loro capacità di individuare soluzioni efficienti.
— FondazioneUgoBordoni (@FondBordoni) September 24, 2020
Ma Chi valuterà il “trade-off” tra riduzione della qualità delle soluzioni e spiegabilità delle logiche algoritmiche? Chi accetterà di ridurre le percentuale di guarigioni pur di poter spiegare ai pazienti perché si è scelta una terapia piuttosto che un’altra?
Algoritmi e sistemi responsabili
L’intervento di Joshua A. Kroll, Naval Postgraduate School di Monterey, CA (Keynote “A path towards Trustworhy and Responsible AI”), è stato anticipato in questa intervista pubblicata su Key4biz, in cui il professore ricorda come i sistemi di cui fanno parte gli algoritmi sono “più ampi del software preso nella sua semplicità”. In altre parole, nell’analisi degli algoritmi è importante considerare l’intero contesto sistemico in cui è calato. Ad esempio, per quanto riguarda la guida autonoma, per valutare il funzionamento dell’algoritmo è necessario prendere in considerazione la velocità, le condizioni dell’asfalto, la luminosità, le curve, la segnaletica. E’ necessario vigilare sul “corretto” funzionamento degli algoritmi anche da punto di vista etico. “Bisogna costruire i sistemi in modo che siano responsabili”, ha detto.
Il beneficio dell’automazione può essere illustrato ad esempio pensando al controllo dei biglietti di un treno. Se il controllo umano, tramite controllore, avviene a bordo, l’utilizzo di tornelli per svolgere la medesima funzione avviene già prima che i passeggeri salgano sulla vettura, eliminando alla radice la necessità che il controllore in carne ed ossa svolga la sua mansione, ottimizzando così il lavoro.
AI e algoritmi difficile applicazione della legge
Difficile, in ambito giuridico, parlare di Intelligenza Artificiale e algoritmi. “Il termine accountability in ambito giuridico significa sia liability che accountability – sottolinea Fabio Bassan,Università di Roma Tre – Noi giuristi dobbiamo risolvere entrambi questi profili”. Si tratta di temi di frontiera, difficili da affrontare. Ed è per questo che secondo Bassan sarà sempre più importante il tema della compliance per la trasparenza degli algoritmi usati dalle aziende, che loro sponte saranno chiamate a dire spontaneamente come funziona l’algoritmo. Un caso concreto, invece, riguarda gli smart contract della blockchain. “Nella blockchain l’ambito di controllo delle autorità può essere considerato ex ante”, dice Bassan. Secondo cui l’approccio legislativo deve essere quello di applicare la legge esistente al nuovo che avanza, ammodernando la legislazione. In lacuni settori, infine, serve un sandbox giuridico per affrontare gli OTT che entreranno anche in settori regolati.
Ma non si può dire ‘me l’ha detto la macchina’
Dal canto suo, Giovanna De Minico, Università di Napoli “Federico II” e membro del Comitato scientifico FUB, ha ricordato come “l’evoluzione dei big data ha portato alla destrutturazione di tutte le categorie politiche – ha detto – e ha cambiato il concetto stesso di atto pubblico. Se c’è di mezzo l’algoritmo, c’è di mezzo la macchina”. Un cambiamento radicale che modifica i capisaldi di interi ambiti: dalla privacy all’antitrust.
Cosa resta della responsabilità politica, quando c’è di mezzo una analisi predittiva pensata da una macchina? Chi è responsabile? Il Parlamento?
E’ pur vero che il GDPR fa rientrare ogni decisione in ambito umano, ricreando così un perimetro di “atto pubblico” sulla base di pratiche di risultanze algoritmiche. E quindi nessuno potrà mai dire di aver deciso in un modo o nell’altro adducendo come motivazione “me l’ha detto la macchina”. “Serve uno spatium deliberandi, uno spazio decisionale che va assicurato all’uomo”, dice De Minico.
Automazione ridefinisce le regole del sistema
Dal canto suo, Stefano Quintarelli, membro dell’European Artificial Intelligence High Level Group, che in questo ambito ha collaborato alla stesura di diversi documenti in materia di AI, ha detto che con il machine learning ridefinisce il perimetro e le regole, modificando di fatto il concetto di intelligenza.
“Con il Machine Learning un sistema non difettoso, ben realizzato e perfettamente funzionante genera, per costruzione, alcune predizioni errate – ha detto Quintarelli – Quando queste predizioni fatte dalla macchina possono avere un effetto pregiudizievole sulla vita delle persone è necessario sempre considerare il sistema allargato, non limitandosi solo alla procedura, all’agoritmo, all’addestramento, ai dati. E’ necessario considerare anche le procedure che consentono – senza pregiudizio alcuno per la persona – di individuare la predizione errata, correggerla e, ove possibile, migliorare il sistema. Questo tipo di procedure di rimedio formano parte di una vista allargata del sistema di IA, vanno concepite assieme ad esso sin dalla fase di progettazione del sistema, pratica che chiamiamo ‘redress by design'”.
“Con il machine learning affrontiamo i problemi con una velocità e una capacità impensabile in passato – ha detto – la scala aumenta ma per sua stessa natura il machine learning farà delle predizioni errate”. Ma in questo caso non si potrà parlare di responsabilità quando il sistema non prevederà questi errori. E’ per questo che esistono le “procedure di rimedio” perché si sa già che le macchine sbaglieranno. Infine, la guida autonoma potrebbe in futuro abbattere del 90% le vittime della strada. Resta comunque quel 10% di vittime. Ma potremo privare la società dei benefici attesi, in nome di quel rimanente 10% di vittime? In definitiva, l’automazione cambia la natura delle regole; una volta introdotta nel sistema, bisognerà applicare procedure di rimedio; infine, in un sistema non bisogna valutare i casi singoli ma i vantaggi complessivi.
Fattore umano resta determinante
Tornando al tema del trade off fra accountability e spiegabilità degli algoritmi, Giuseppe Francesco Italiano, Università Luiss “Guido Carli”, dice che molto spesso gli algoritmi sono troppo complessi per essere spiegate tramite semplici alberi decisionali, come ad esempio quelli per il riconoscimento facciale.
“L’accountability è una delle grosse sfide di oggi. Tecniche come deep learning risolvono problemi complicati, ma producono algoritmi che non sono interpretabili, sono delle black box. Purtroppo tecniche interpretabili, come alberi di decisione, non riescono a raggiungere prestazioni così elevate sugli stessi problemi – dice Italiano – Credo però che il problema sia più generale. Anche algoritmi che non usano affatto machine learning e per cui si ha una perfetta accountability hanno sollevato molte resistenze, come nel caso dello scheduling degli school bus a Boston”.
Per quanto riguarda l’explainable AI, poi, il fallimento può dipendere a volte in toto dal fattore umano. Ad esempio, emblematico il caso dell’algoritmo che a Boston prometteva di abbattere di 5 milioni all’anno il sistema di scuolabus cittadino, ottimizzando appunto il sistema di trasporto degli studenti cittadini. Un algoritmo perfetto, che però non fu possibile utilizzare per le proteste di una parte dei destinatari. “In questo caso, il singolo che protesta non considera i vantaggi per la collettività” e manda a monte un sistema che la macchina era riuscita a ottimizzare al meglio, ma soltanto sulla carta.