L’algoritmo di vetro
Il caso Gebru/Google. L’autocritica dall’amministratore delegato Sundar Pichai.
Ho sentito forte e chiara la reazione all’allontanamento della dr. Gebru: ha seminato dubbi e ha portato alcuni nella nostra comunità a mettere in dubbio il loro posto in Google. Voglio dire quanto mi dispiace per questo e accetto la responsabilità di impegnarmi per ripristinare la tua fiducia [a pie’ di pagina il testo completo*].
Èil passaggio centrale di una lettera di Sundar Pichai, amministratore delegato di Google, che dichiara senza infingimenti il proprio imbarazzo e anche l’esplicita contrarietà per quanto è accaduto con il licenziamento di Timnit Gebru, che fino a qualche giorno fa era la responsabile della sezione Etica di Mountain View. Come abbiamo spiegato in un precedente articolo, la Gebru, insieme a un gruppo di ricercatori, fra cui anche dipendenti di Google, aveva analizzato i sistemi semantici adottati dal principale motore di ricerca del mondo rilevando aspetti sia di discriminazione razziale sia di un’alterazione nelle valutazioni e nel conseguente linguaggio che era proposto per i bot o i risponditori automatici.
Una macchia che colpiva al cuore il gruppo nato con il motto don’t be evil, non essere cattivo.
Soprattutto stupiva la reazione disciplinare che colpiva la Gebru, estromettendola in malo modo, con l’immediata cancellazione del suo account aziendale.
Dopo 48 ore di riflessione entra in campo il gran capo Pichai, peraltro un massimo esperto di intelligenza artificiale, che non poteva certo ignorare un conflitto che coinvolgeva proprio il settore di sua provenienza. Pichai nella sua lettera dopo aver dichiarato il suo rincrescimento, ed è la prima volta che appare così evidente un’autocritica pubblica su un tema fondante della mission di Google, quale appunto la trasparenza dei sistemi di intelligenza artificiale, il CEO continua senza risparmiarsi e scrive:
Dobbiamo assumerci la responsabilità del fatto che una dirigente di spicco nera, donna con immenso talento abbia lasciato Google. Ci rincresce. Questa perdita ha avuto un effetto a catena su alcune delle nostre comunità meno rappresentate, che hanno visto sé stesse e alcune delle loro esperienze riflesse in quella della Dr. Gebru. È stato anche molto sentito perché la Dr. Gebru è un’esperta in un’area importante dell’etica dell’IA su cui dobbiamo continuare a fare progressi – progressi che dipendono dalla nostra capacità di porci domande impegnative.
Assomiglia molto a una resa senza condizioni. Il vertice di Google fa intendere che, rispetto a precedenti accuse, soprattutto da parte di enti pubblici o direttamente da partner di autorità statali, che non hanno lasciato strascico sulla reputazione del gigante tecnologico, questa volta il segno è profondo e visibile. Si è tradotto in un calo brusco anche in borsa. Il punto che mette in rilievo la dichiarazione di Pichai riguarda quel sottile filo che ancora lega Google con miliardi di utenti, basato sullo scambio fra efficienza e identità, ma garantito, questo è il valore che rischia di dissolversi con il caso Gebru, su un’immagine ancora robusta di autonomia, libertà e soprattutto di buona fede accreditato da parte delle community digitali alla società fondata da Larry Oage e Sergey Brin. Si tratta del principale capitale immateriale della Silicon Valley: quell’aura di sostanziale irrilevanza del potere di controllo sui dati e soprattutto di quegli automatismi neurali che, mediante proprio i dispositivi automatici, orientano le nostre azioni.
Questo specchio che riflette le nostre speranze più che la realtà era gia stato infranto da Cambridge Analytica, che aveva irrimediabilmente sbriciolato la credibilità di Facebook e aperto un varco nella credibilità dell’uso dei big data da parte dei sistemi profilanti, come appunto Amazon o lo stesso Google. Ma nonostante la gravità del caso di Cambridge Analytica, dove le inchieste negli USA o in UK avevano palesemente mostrato la manipolazione del consenso elettorale che quel sistema ha potuto esercitare impunemente, lo scandalo aveva manomesso la credibilità dei Data base e dei sistemi surrettizi di profilazione, prevalentemente usati ai fini commerciali.
Questa volta la denuncia della professoressa Gebru, personaggio scientificamente al di sopra di ogni sospetto, colpisce al cuore l’intero sistema valoriale su cui un apparato di intelligenza artificiale, basato esclusivamente sulla fiducia che l’invisibile sia moralmente inattacabile, è radicato la fondatezza dell’attività di Google. Al centro della contesa non sono comportamenti disinvolti o furbeschi, o apertamente truffaldini dei gestori del sistema commerciale, fiscale o commerciale di Google, ma la struttura dei suoi algoritmi. È proprio il determinismo di quella sequenza numerica, la sua affermata neutralità e inevitabilità che diventa materia di una contestazione che prelude ad una contrattazione. Bisogna cambiare l’intelaiatura di quel sistema di intelligenza artificiale, afferma di fatto la Gebru, perché, come in ogni sistema esponenziale, anche negli automatismi intelligenti un errore o una manomissione per quanto minima nella matrice del sistema produce poi nei suoi funzionamenti seriali conseguenze ingovernabili e non arginabili.
È questa la base concettuale di quella metafora che fino ad oggi era considerata pura teoria, annoverata fra le cose auspicabili ma impossibili: la negoziazione dell’algoritmo.
L’accusa lanciata contro Google dai ricercatori coordinati dalla Gebru mostra come il re sia nudo: l’algoritmo che guida e orienta le relazioni fra noi e il motore di ricerca non è la massima ottimizzazione di un calcolo oggettivo, ma semmai, come sosteneva lo stesso Alan Turing in uno storico articolo del 1936, intitolato Sui numeri calcolabili ,con un’applicazione al problema della decisione, è sbagliata la speranza che tutti i calcoli siano possibili e siano unici. Se questo mondo torna ad essere parte della relatività generale, allora ogni dispositivo, esattamente come previsto perfino da sentenze del sistema giudiziario amministrativo italiano, deve poter essere trasparente e accessibile per ogni singolo utente. Si potrebbe aprire così una nuova fase di questa storia dell’innovazione, dove ogni algoritmo, così come ogni notizia o ogni affermazione in rete, è solo l’inizio di una relazione che si prolunga all’infinito in un gioco di rimbalzi, correzioni, adattamenti e negoziati.
Le Smart cities non sono più l’ambito di applicazione dei cataloghi delle corporation tecnologiche ma comunità che potranno contrattare i sistemi di gestione e organizzazione dei servizi pubblici, senza doverne perdere il controllo, come oggi accade. Lo stesso potrebbe proporsi per i giornalisti o i medici, che potrebbero ritrovare uno spazio di nuova centralità del proprio sapere e delle proprie esperienze nella riformattazione dei sistemi automatici che oggi stanno ridisegnando le professioni nelle redazioni e negli ospedali.
Certo siamo all’inizio, ma solo fino a qualche giorno fa Google pensava di dover rendere conto a qualche authority anti trust , per il suo gigantismo, o a qualche ufficio fiscale per la sua elusione nel pagare le tasse. Oggi Picchiai si è accorto che la sassata di Davide ha colpito la fronte Golia e non si può più far finta di nulla. Sopratutto cadono anche gli alibi per chi si è nascosto dietro l’invincibilità dei samurai digitali. Siamo a un tornante in cui ritorna fondamentale la responsabilità dei sistemi pubblici e delle comunità sociali che vorranno ritrovare la via della propria autonomia e salvaguardare l’ambizione del proprio sviluppo tecnologico. Da oggi è più facile.
*Il testo dell’email di Sundar Pichai
Subject: Committing to our work on racial equity and AI ethics
Hi everyone,
I’ve heard the reaction to Dr. Gebru’s departure loud and clear: it seeded doubts and led some in our community to question their place at Google. I want to say how sorry I am for that, and I accept the responsibility of working to restore your trust.
First – we need to assess the circumstances that led up to Dr. Gebru’s departure, examining where we could have improved and led a more respectful process. We will begin a review of what happened to identify all the points where we can learn — considering everything from de-escalation strategies to new processes we can put in place. Jeff and I have spoken and are fully committed to doing this. One of the best aspects of Google’s engineering culture is our sincere desire to understand where things go wrong and how we can improve.
Second – we need to accept responsibility for the fact that a prominent Black, female leader with immense talent left Google unhappily. This loss has had a ripple effect through some of our least represented communities, who saw themselves and some of their experiences reflected in Dr. Gebru’s. It was also keenly felt because Dr. Gebru is an expert in an important area of AI Ethics that we must continue to make progress on — progress that depends on our ability to ask ourselves challenging questions.
It’s incredibly important to me that our Black, women, and underrepresented Googlers know that we value you and you do belong at Google. And the burden of pushing us to do better should not fall on your shoulders. We started a conversation together earlier this year when we announced a broad set of racial equity commitments to take a fresh look at all of our systems from hiring and leveling, to promotion and retention, and to address the need for leadership accountability across all of these steps. The events of the last week are a painful but important reminder of the progress we still need to make.
This is a top priority for me and Google leads, and I want to recommit to translating the energy that we’ve seen this year into real change as we move forward into 2021 and beyond.
— Sundar
