Seguici anche su

2 marzo 2017

Walmart e gli altri, se un algoritmo decide la nostra vita

Punteggi automatici per i tassi di interesse. Per licenziare o assumere. Sulla base di dati opachi. Ora la Ue impone trasparenza. Una barriera di civiltà

Paolo Bottazzini

 Dal nuovo numero di pagina99, in edicola dal 25 febbraio e in edizione digitale

Siamo una società di scatole nere che ci osservano, ci misurano, ci giudicano. Hanno conquistato il potere di decidere per noi. O meglio, siamo noi ad averlo delegato ai software di profilazione, e ad aver assicurato loro il ruolo di oracoli: la segretezza degli algoritmi è protetta dal diritto sulla proprietà intellettuale. La loro forza è cresciuta al punto da spingere L’Unione europea ad approvare la General Data Protection Regulation (GDPR), approvata a Bruxelles il 14 aprile 2016: le norme entreranno in vigore in tutti gli Stati dell’Unione Europea a partire dal maggio 2018, senza richiedere alcuna ratifica dai parlamenti nazionali. Negli Stati Uniti invece il dibattito è ancora aperto, e l’era Trump non sembra promettere nulla di buono per la privacy dei cittadini, ancor più se non americani.

«Qualunque dato è un dato sul credito». Un’affermazione del genere potrebbe essere stata pronunciata da Xi Jinping, l’uomo forte del regime comunista, per illustrare il suo progetto di controllo su ogni singolo cittadino cinese. Invece l’autore dell’ammonimento è Douglas Merrill, ex direttore tecnologico di Google e dal 2012 fondatore e Ceo di ZestFinance. La startup usa l’intelligenza artificiale per processare diecimila calcoli al secondo, con cui «aiutare le aziende a decidere le migliori sottoscrizioni di credito possibili».

Tradotto in linguaggio naturale, Merrill impiega il suo talento nell’invenzione di algoritmi che macinano qualunque tipo di dato sulle persone e sulle imprese in modo da attribuire un punteggio alla loro solidità finanziaria. I segnali che vengono elaborati spaziano dall’orientamento sessuale alla visione politica, dai guai familiari al luogo di abitazione. Ma è in buona compagnia: CompuCredit è una società che ha già vinto una causa contro chi sosteneva l’illegittimità del suo metodo – attribuire un rischio di instabilità (a breve termine) alle persone che seguono una terapia di coppia, per imporre loro tassi di interesse maggiori o tetti più bassi al credito disponibile.

Gli algoritmi si arrogano la supremazia della razionalità: la (loro) logica stabilisce quali opportunità aprire a ciascun individuo, e il loro dominio è già una realtà con una storia alle spalle. ZestFinance ha rastrellato 262 milioni di dollari in sei tornate di finanziamento, e tra gli investitori figurano giganti cinesi come Baidu, e imprenditori americani come Peter Thiel (principale consulente tecnologico di Donald Trump). Ma la curiosità (e il potere decisionale) delle agenzie del settore fintech non è che un esempio.

Frank Pasquale, professore all’Università del Maryland ed esperto di diritto applicato ai problemi tecnologici, elenca molti altri sintomi della sudditanza della nostra società agli algoritmi decisionali, fondati sui Big Data. Il software di Uber si comporta con i collaboratori come un dio trascendente: gli autisti ricevono solo mail e Sms dalla piattaforma gestionale, e non possono parlare con nessun dipendente dell’amministrazione.

Vengono cacciati senza alcuna comunicazione, nel caso in cui la media delle valutazioni dei clienti scenda sotto la soglia di 4,7. Walmart sottopone i candidati per l’assunzione, e i dipendenti, a «test di personalità» per la gestione dei curriculum e delle carriere; Ibm classifica il personale valutandolo con algoritmi che ragionano con criteri di economicità non illustrati ai destinatari (le gerarchie più alte si autoassolvono da ogni addebito, sottraendosi a questa forma di controllo).

D’altra parte anche l’amministrazione pubblica ha implementato un insieme di dispositivi software per il calcolo della detenzione dei carcerati, e per la compilazione delle liste degli stranieri non graditi sul suolo americano. Questo ben prima di Trump. Sebbene in Italia il ministro Beatrice Lorenzin descriva Internet come una realtà virtuale, popolata all’80% da pornografia, il mondo digitale è diventato la scatola nera delle nostre possibilità più concrete.

Le cliniche private negli Usa si sono premunite di software che monitorano le abitudini dei pazienti (attuali e potenziali): chi non ha figli, guida un minivan, ed è abbonato alla televisione via cavo, viene incasellato in quella zona di pericolo assicurativo che sono i predestinati all’obesità. Insomma si può evadere dalla vita reale, ma non da quella online. Pasquale e gli attivisti della algoritmic accountability (responsabilità algoritmica) della New York University cercano un inquadramento nel diritto per l’innovazione tecnologica che fermi il rovesciamento di ruoli tra governo e software.

Le regole di inferenza dei dispositivi informatici dovrebbero essere sottoposte a una disciplina pubblica, per evitare il rischio di discriminazioni: Google ci ha abituato a considerare gli effetti dell’algoritmo di ricerca (e dei suoi aggiornamenti) come un’istanza del destino, ma il giornalismo, la ricerca universitaria e la politica, dovrebbero ricordarci che l’incremento di influenza delle scatole nere, in un mondo di Big Data, è una restrizione della democrazia.

L’inappellabilità dei sistemi automatici in cui si imbattono i collaboratori di Uber, di Walmart, di Ibm, rappresenta una violazione di tutte le conquiste del diritto dalle rivendicazioni dell’Illuminismo. Secondo Bryce Goodman e Seth Flaxman dell’Università di Oxford, il General Data Protection Regulation approvato dall’Europa si configura come un tentativo di opporsi a questo corso degli eventi. La loro analisi conclude che il testo normativo implica un «diritto alla spiegazione», che impone ai produttori dei software di chiarire le regole con cui funzionano gli algoritmi: la richiesta non è esplicita, ma è il primo passo per liberarsi dalla rete delle scatole nere. Per una volta, l’Europa torna a guidare la battaglia per la civiltà occidentale.

[Foto in apertura Getty Images]

Altri articoli che potrebbero interessarti