“Move fast and break things!”. Chi non conosce il motto di Facebook che suona un po’ come un precetto di strategia militare: penetrare le linee del nemico senza preoccuparsi dei fianchi o delle perdite (proprie o altrui).
E in effetti questa massima ha fatto scuola tra gli OTT i quali lanciano sul mercato nuovi prodotti senza farsi trattenere da troppi scrupoli.
E quali scrupoli? Quelli per l’incidenza che tali iniziative potrebbero avere sui consumatori.
Break things: si, le cose si rompono, eccome, e ripararle risulta molto laborioso. Un compito questo che spetta in buona misura agli esperti di cybersecurity i quali sono chiamati a intervenire per rimediare o limitare i danni.
Quale fenomenologia di danni si possa manifestare è in parte presente all’opinione pubblica europea, ma lo è molto di più all’intellighentsia americana la quale, per forza di cose, ha sperimentato per prima l’impatto delle tecniche di governo dei problemi sociali offerte dalla tecnologia della Silicon Valley.
Al centro dell’attenzione regna l’algoritmo, la manifestazione più evidente del potere della tecnologia di dominare i comportamenti umani.
Dominare o distorcere?
La letteratura prevalente propende per la seconda. Prendiamo per esempio Cathy o’Neill, autrice di un pregevole saggio sulle “armi di distruzione di massa”: niente meno che la combinazione tra big data e algoritmi. Nella sua ricerca, ad esempio, mostra come gli algoritmi utilizzati nei tribunali americani per misurare la recidiva sono pesantemente influenzati da pregiudizi diretti contro neri e ispanici.
La questione di fondo è che, quale che sia il campo di applicazione, gli algoritmi sono opachi e producono danni: in altre parole sono strumenti di controllo sociale non diversi da quelli utilizzati nell’Ottocento per il governo dei poveri e delle classi pericolose. Ne è una dimostrazione l’uso indiscriminato degli algoritmi per includere o escludere gli individui dai benefici della sicurezza sociale e sanitaria: chi diviene innocente bersaglio deve sperimentare tutta la difficoltà di lottare contro questa macchina impersonale e glaciale. Un argomento, questo, svolto con eloquenza da Virginia Eubanks, la quale ricorda che “…quando i sistemi di decisione automatica non sono costruiti esplicitamente per smantellare la disuguaglianza strutturale, finiscono per accelerarla e intensificarla”.
Uno dei principali problemi degli algoritmi è che essi fanno affidamento su dati storicamente sedimentati: cosicché se il passato è innervato da pregiudizi, questi si riproporranno nel presente. Persino i neural networks non sono immuni dal pregiudizio, osserva Sara Wachter-Boettcher, poiché i training data non sono essi stessi neutrali: come dire: “biased input, even more biased output”.
Ecco allora che l’aneddoto della ricerca Google che individua al posto di una persona di colore un gorilla nella sua gravità diviene rappresentativo di un nodo molto più grande e complesso da sciogliere: quello di superare il mito della terzietà della tecnologia per appropriare questa dimensione al catalogo dei diritti fondamentali.
Safaya Umoja Noble ha condotto una ricerca impietosa sull’inclinazione razzista dei motori di ricerca, anche di quelli più titolati, e delle architetture degli algoritmi. Al punto da affermare che “…razzismo e sessismo sono parte dell’architettura e del linguaggio della tecnologia”.
Come reagire?
Una risposta è nell’etica e deontologia; l’altra riposa sulla convinzione che l’audit dell’algoritmo sia praticabile. Un punto è certo però. Il ruolo della cybersecurity, talvolta percepito come relegato a mansione di manutenzione secondaria, diventa invece centrale e cruciale per la tutela dei diritti fondamentali.
Quando, per ripetere il motto di Facebook, “le cose si rompono” chi le ripara deve farlo nell’ottica dell’ampio catalogo di garanzie giuridiche che, almeno in Europa, circonda ormai la tecnologia. Certo è auspicabile che nel disegno dei modelli chi ne è responsabile si faccia carico di eliminare stereotipi, disuguaglianze, pregiudizi.
Non è detto tuttavia che questa avvenga con facilità.
La “fire brigade” del diritto e tecnologia si chiama pertanto cybersecurity. Un attore che i giuristi dovranno abituarsi a prendere sul serio. Ciò che finora si sono ben guardati dal fare, presi come sono dall’ermeneutica formalista, comoda scorciatoia di una pseudo conoscenza.
È tempo ora di entrare un più nel dettaglio del mondo piuttosto arcano – ai più – della cybersecurity.
La cybersecurity ruota intorno alla triade Confidentiality, Intergrality and Availability, termine di paragone e obiettivo ultimo dell’attività di sicurezza.
Supportare il business aziendale nel raggiungere gli obiettivi, mantenere la salvaguardia e la protezione di infrastrutture critiche, garantire il rispetto di leggi e normative, tutelare i diritti di cittadini/consumatori, sono solo alcuni esempi non esaustivi dei compiti a cui è chiamata a rispondere la triade di sicurezza.
Una significativa evoluzione è avvenuta in seguito alla espansione e alla diluizione del perimetro di interazione fra le parti coinvolte in scambi (economici, sociali, relazionali in genere) a cui si aggiunge l’incremento esponenziale delle interazioni attraverso networks. Per cui nel periodo attuale il framework di sicurezza basato su Castello e Fortezza (per cui chi è dentro sono i buoni e chi è fuori sono gli avversari) non è più attuabile. L’attuale approccio Risk Management di salvaguardia e di protezione della triade di sicurezza, appare sottoposto agli stimoli dei nuovi paradigmi: Machine Learning, Deep Learning, etc. Tali paradigmi propongono soluzioni che impiegano la scienza dei dati attraverso cui il contesto è rivelato, descritto, previsto e prescritto. Le motivazioni sono da ritrovare nella variabilità, voluminosità e velocità garantite dalla differenziazione, scalabilità e pluralità di sorgenti di dati a cui si aggiunge la possibilità di trattamento illimitato per profondità e per precisione.
Le tecnologie della scienza dei dati, sebbene rappresentino un veicolo di comprensione e di conoscenza del contesto, risentono di:
- dipendenza dalla scelta dell’insieme di variabili;
- inadeguatezza alla generalizzazione e all’astrazione;
- vulnerabilità alla manipolazione dei dati input;
- impossibilità di indicare le motivazioni;
- limitatezza nella definizione di chi fa cosa;
- sensibilità nell’individuare causalità tramite correlazione.
Le conseguenze di ciò si traducono in danni di diversa natura ed entità rappresentanti la faccia negativa della medaglia della scelta automatica, che si contrappone alla faccia positiva rappresentata dall’oggettività.
Fra le cause, è certamente possibile annoverare il bias di contesto: pregiudizi riguardanti la scelta delle variabili, preconcetti relativi alla formulazione di ipotesi e le relative probabilità, discriminazione concernenti la definizione di valori caratteristici: solo per citarne alcuni.
Dal punto di vista della cybersecurity, disporre di strumenti tecnologici che siano vulnerabili alle suddette limitazioni rappresenta un motivo di allarme per il perseguimento dell’obiettivo di salvaguardia della triade di sicurezza e quindi una preoccupazione per la protezione di valori e di processi come relativa conseguenza.
Se è possibile considerare la comprensione del contesto come individuazione di ricorrenze e di regolarità che inducono compressione in modelli generativi (modelli che non riproducono regolarità statistiche/probabilistiche) allora possibili soluzioni per limitare i danni causati da algoritmi soggetti a bias possono includere: probabilità algoritmica, sistemi complessi, complessità algoritmica, teoria del caos, simulazione e sperimentazione, small data.