Rapporto uomo-macchina. La lezione di Addis Abeba

Negli anni che verranno – pochi – software, robot e algoritmi diversamente intelligenti, saranno sempre più protagonisti della mobilità terrestre, aerea e marittima nelle nostre città e fuori dalle nostre città e non solo della mobilità: sanità, giustizia, educazione, economia e in ogni altro aspetto della nostra vita le il codice e le macchine stanno per diventare nostri necessari compagni di viaggio.

E’ per questo che la tragedia dell’incidente aereo di Addis Abeba è l’occasione – benché triste – per qualche riflessione sul governo del rapporto tra uomo e macchina, riflessioni che possono essere fondate sulle certezze e quasi-certezze che, in attesa che si concluda l’inchiesta delle Autorità, già ci sono.

La prima. La Boeing ha annunciato che rilascerà un aggiornamento del software attualmente principale imputato del disastro e che formerà i piloti destinati a comandare gli aeroplani dello stesso modello di quello coinvolto nella tragedia.

La seconda. La stampa americana racconta – senza essere stata sin qui smentita – che una fase importante del collaudo del Boeing 737 Max è stato delegato dall’Autorità americana per l’aviazione alla stessa Boeing che, dunque, si è ritrovata a essere valutatore di sé stessa.

La terza. Le principali novità del Boeing 737 Max sembrano essere state dettate dalla ricerca di un’ottimizzazione dei consumi: il nuovo modello consumerebbe il 16% di carburante in meno rispetto agli altri modelli della stessa famiglia sul mercato.

La quarta. Il software protagonista della vicenda sembrerebbe progettato in maniera tale da non consentire al pilota di “contraddirlo” o, comunque, di correggere un suo eventuale errore.

Se tali circostanze sono corrette, senza voler semplificare eccessivamente una serie di questioni in realtà straordinariamente complesse e con il solo obiettivo di animare un dibattito del quale c’è, probabilmente, bisogno, non sembra azzardato dire che se la progettazione, lo sviluppo, il collaudo e l’immissione sul mercato del software in questione fosse stata governata in maniera diversa questa ennesima tragedia dei cieli avrebbe potuto essere evitata.

Avrebbe, infatti, potuto essere evitata se quel software fosse stato sottoposto a un collaudo più severo, terzo, indipendente e condotto da un’Autorità pubblica dotata di competenze in materia superiori rispetto a quelle dei soggetti di mercato vigilati il che suggerisce che senza un serio investimento in competenze specialistiche gli Stati non sono e non saranno domani in condizioni di governare per davvero la trasformazione digitale in atto.

E avrebbe, probabilmente, essere egualmente evitato se – come oggi Boeing annuncia di voler fare – i piloti destinati a pilotare i nuovi Boeing fossero stati educati al dialogo con i nuovi software di bordo.

E qui ritorna drammaticamente alla memoria “il disagio tecnologico”, il libro pubblicato da  Alan Cooper, universalmente conosciuto come il papà del Visual Basic, uno dei primi linguaggi di programmazione, nel 1999.

La prima pagina è interamente dedicata all’incidente del volo 965 dell’America Airlines del 1995, un volo di linea finito contro le montagne, 152 morti e 4 sopravvissuti a causa di quello che l’inchiesta che ne seguì etichettò come un errore umano ma che Cooper ascrive, invece, ai limiti del computer di bordo e, in particolare, al difficile dialogo tra quel computer e il comandante dell’aereo.

Il comandante, in quel caso, aveva “sbagliato” a selezionare attraverso l’interfaccia del computer un “punto radio” e il computer, aveva eseguito l’ordine senza “ricordare” al pilota che farlo avrebbe voluto dire schiantarsi contro una montagna.

E nell’incidente di Addis Abeba è andata, forse – qui non ci sono ancora certezze – peggio di così perché a “sbagliare” potrebbe essere stato il computer di bordo mentre il pilota potrebbe essersi trovato nell’impossibilità di correggerlo.

Intendiamoci, sbagliamo anche noi uomini, da sempre e sbaglieremo per sempre.

Ma abbiamo, ormai, sviluppato – anche se non è mai abbastanza – una serie di antidoti, vaccini, rimedi che abbattono il rischio di errore o, almeno ci provano.

Educazione, formazione, pratica, regole, leggi, controlli e sanzioni a seconda dei casi.

Stiamo facendo abbastanza anche per governare gli errori dei robot?

Il momento giusto per chiedercelo è oggi.