Con la rubrica “E voi cosa ne pensate?” vogliamo aprire uno spazio di confronto sui grandi  temi del futuro su cui siamo chiamati a riflettere e decidere oggi.  Oggi vi proponiamo l’argomento: riconoscimento automatico del genere tramite l’Intelligenza Artificiale e discriminazione. E voi cosa ne pensate?
I pericoli posti dal riconoscimento facciale come la sorveglianza di massa e gli errori sull'accertamento dell'identità sono stati ampiamente discussi negli ultimi anni. Ma i gruppi per i diritti digitali dicono che una pratica altrettanto insidiosa sta attualmente prendendo piede: usare la stessa tecnologia per prevedere il sesso e l'orientamento sessuale di qualcuno. Ora, una nuova campagna è stata lanciata per vietare queste applicazioni nell'UE. Cercare di prevedere il sesso o la sessualità di qualcuno da indizi digitalizzati è fondamentalmente sbagliato, dice Os Keyes, un ricercatore che ha scritto molto sull'argomento. Questa tecnologia tende a ridurre il genere a un binario semplicistico e, di conseguenza, è spesso dannosa per individui come le persone trans e non binarie che potrebbero non rientrare in queste categorie ristrette. Quando questi sistemi sono utilizzati per cose come accedere ad alcuni luoghi fisici o la verifica dell'identità di qualcuno per un servizio online, porta alla discriminazione. "Identificare il genere di qualcuno guardandolo e non parlando con lui è un po' come chiedere che sapore ha l'odore del blu", afferma Keyes. "Il problema non è tanto che la tua risposta è sbagliata quanto che la tua domanda non ha senso". Queste previsioni possono essere fatte usando una varietà di input, dall'analisi della voce di qualcuno all'aggregazione delle sue abitudini di shopping. Ma l'ascesa del riconoscimento facciale ha dato alle aziende e ai ricercatori un nuovo input di dati che ritengono particolarmente autorevole. I sistemi commerciali di riconoscimento facciale, compresi quelli venduti da grandi aziende tecnologiche come Amazon e Microsoft, offrono spesso la classificazione di genere come caratteristica standard. Predire l'orientamento sessuale dagli stessi dati è molto più raro, ma i ricercatori hanno ancora costruito tali sistemi, in particolare il cosiddetto algoritmo "AI gaydar". Ci sono forti prove che questa tecnologia non funziona anche sulla base delle sue stesse premesse difettose, ma questo non limiterebbe necessariamente la sua adozione. "Anche le persone che hanno fatto le prime ricerche hanno detto, sì, qualche dittatore di latta potrebbe usare questo software per cercare di 'trovare i froci' e poi gettarli in un campo", dice Keyes dell'algoritmo per rilevare l'orientamento sessuale. "E questa non è un'iperbole. In Cecenia, questo è esattamente quello che hanno fatto, e questo senza l'aiuto di robot". Nel caso del riconoscimento automatico del genere, questi sistemi si basano generalmente su concezioni ristrette e superate del genere. Con la tecnologia di riconoscimento facciale, se qualcuno ha i capelli corti, è classificato come un uomo; se si trucca, è una donna. Simili supposizioni sono fatte sulla base di dati biometrici come la struttura ossea e la forma del viso. Il risultato è che le persone che non rientrano facilmente in queste due categorie - come molti individui trans e non binari - sono classificate in modo errato. "Questi sistemi non solo non riconoscono che le persone trans esistono. Non riescono letteralmente a riconoscere che le persone trans esistono", dice Keyes. Le attuali applicazioni di questa tecnologia di riconoscimento di genere includono cartelloni pubblicitari digitali che analizzano i passanti per servire loro pubblicità mirate; spazi digitali come l'app social "per sole ragazze" Giggle, che ammette le persone indovinando il loro sesso dai selfie; e trovate di marketing, come una campagna per dare biglietti scontati per la metropolitana alle donne a Berlino per celebrare l'Equal Pay Day che ha cercato di identificare le donne in base alla scansione del viso. I ricercatori hanno anche discusso casi d'uso molto più potenzialmente pericolosi, come l'implementazione della tecnologia per limitare l'ingresso ad aree di genere come bagni e spogliatoi. Essere rifiutati da una macchina in un tale scenario ha il potenziale di essere non solo umiliante e spiacevole, ma anche di scatenare una reazione ancora più grave. Gli atteggiamenti anti-trans e l'isteria sull'accesso ai bagni hanno già portato a numerosi incidenti di molestie e violenza nei bagni pubblici, dato che i passanti si prendono la responsabilità di sorvegliare questi spazi. Se qualcuno viene dichiarato pubblicamente da una macchina apparentemente imparziale di essere il genere "sbagliato", sembrerebbe solo legittimare tali molestie e violenze. Daniel Leufer, un analista politico del gruppo per i diritti digitali Access Now, che sta conducendo la campagna per vietare queste applicazioni, dice che questa tecnologia è incompatibile con l'impegno dell'UE per i diritti umani. Access Now, insieme a più di 60 altre ONG, ha inviato una lettera alla Commissione europea, chiedendole di vietare questa tecnologia. La campagna, che è sostenuta dal gruppo internazionale di advocacy LGBT+ All Out, arriva mentre la Commissione europea considera nuove regole per l'Intelligenza Artificiale in tutta l'UE. Una bozza di libro bianco che è circolata l'anno scorso suggeriva un divieto totale del riconoscimento facciale negli spazi pubblici, e Leufer dice che questo illustra quanto seriamente l'UE stia prendendo il problema della regolamentazione dell'Intelligenza Artificiale. "C'è un momento unico ora con questa legislazione nell'UE in cui possiamo chiedere garanzie importanti, e stiamo cogliendo l'opportunità di farlo", dice Leufer. "L'UE si è costantemente inquadrata come una terza via tra la Cina e gli Stati Uniti [sulla regolamentazione dell'IA] con i valori europei al suo centro, e stiamo cercando di mantenere ciò". Keyes sottolinea che la messa al bando di questa tecnologia dovrebbe interessare tutti, "indipendentemente da come si sentono sulla centralità delle vite trans nelle loro vite", poiché questi sistemi rafforzano una modalità estremamente obsoleta di politica di genere. "Quando si guarda a ciò che pensano questi ricercatori, è come se avessero viaggiato nel tempo dagli anni '50", dice Keyes. "Un sistema che ho visto ha usato l'esempio della pubblicità delle automobili ai maschi e dei bei vestiti alle femmine. Prima di tutto, voglio sapere chi si ritrova con i vestiti brutti? E in secondo luogo, pensano che le donne non possano guidare?". L'uso di questa tecnologia può anche essere molto più sottile del semplice fornire pubblicità diverse a uomini e donne. Spesso, dice Keyes, l'identificazione di genere è usata come un filtro per produrre risultati che non hanno nulla a che fare con il genere stesso. Per esempio, se un algoritmo di riconoscimento facciale viene utilizzato per impedire l'ingresso in un edificio o in un paese abbinando un individuo a un database di volti, potrebbe restringere la sua ricerca filtrando i risultati per genere. Poi, se il sistema sbaglia il genere della persona che ha di fronte, produrrà un errore invisibile che non ha nulla a che fare con il compito in questione. Keyes dice che questo tipo di applicazione è profondamente preoccupante perché le aziende non condividono i dettagli di come funziona la loro tecnologia. "Questo potrebbe già essere onnipresente nei sistemi di riconoscimento facciale esistenti, e semplicemente non possiamo dirlo perché sono interamente black-boxed", afferma. Nel 2018, per esempio, gli autisti trans di Uber sono stati cacciati dall'app dell'azienda a causa di una funzione di sicurezza che chiedeva loro di verificare la loro identità con un selfie. Perché questi individui sono stati respinti dal sistema non è chiaro, dice Keyes, ma è possibile che il riconoscimento di genere difettoso abbia giocato un ruolo. In definitiva, la tecnologia che cerca di ridurre il mondo a classificazioni binarie basate su semplici euristiche è sempre destinata a fallire di fronte alla varietà e complessità dell'espressione umana. Keyes ammette che il riconoscimento di genere automatizzato funziona per un gran numero di persone, ma dice che i difetti di fondo del sistema faranno inevitabilmente male a coloro che sono già emarginati dalla società e costringeranno tutti a forme più ristrette di auto-espressione. "Viviamo già in una società che è molto pesantemente influenzata dal genere", dice Keyes. "Quello che queste tecnologie stanno facendo è rendere quelle decisioni molto più efficienti, molto più automatiche e molto più difficili da contestare".
Articolo tradotto da The Verge, Automatic gender recognition tech is dangerous: say campaigners: it’s time to ban it, 14 aprile 2021