Quando tante attività possono essere automatizzate è essenziale poter verificare che gli algoritmi stiano funzionando bene. Se ne sono accorti alcuni clienti che hanno iniziato a vedere descrizioni surreali di prodotti Amazon che recitavano “Mi spiace ma non posso completare la richiesta perché va contro le policy di OpenAI”. Ma soprattutto se n’è accorta Air Canada quando un cliente gli ha chiesto un rimborso del biglietto basandosi su quello che gli aveva detto il chatbot AI dell’azienda. A nulla è valsa l’opposizione dell’azienda. Il Tribunale ha sancito che il chatbot AI è responsabilità dell’azienda, non certo del cliente. Air Canada ha oggi rimosso il chatbot. Se tutto viene creato, pubblicato e aggiornato in autonomia chi può accorgersi o verificare una mole così importante di contenuti promossi in molteplici canali? L’AI può essere impiegata a questo scopo. Temi lampanti come questi potrebbero in realtà essere intercettati anche con un controllo umano, ma la gestione della qualità dei contenuti automatizzati spesso va molto oltre introducendo concetti come i bias aziendali o favoritismi verso certi segmenti di clienti rispetto ad altri che sono molto più difficili da identificare da una analisi umana. Per questo motivo una componente importante di qualunque progetto di Intelligenza Artificiale oggi è la creazione di un sistema di governance dei processi AI con verifiche continue sulla qualità dei risultati, sulle ottimizzazioni possibili e anche su eventuali bias da correggere.