Una risposta sbagliata può fare molta strada quando suona come una spiegazione competente.

In una conversazione con ChatGPT ho chiesto se, dopo un attacco informatico riuscito con il furto di diversi miliardi di dollari, come nel caso di Binance, un exchange sarebbe in grado di coprire le perdite dei propri clienti. La risposta era ordinata, ricca di dettagli e apparentemente ragionevole. A un certo punto sosteneva che un exchange con copertura integrale delle attività dei clienti dovrebbe, in teoria, riuscire a restituirle anche se tutti chiedessero di prelevare.

La frase lasciava però in ombra il punto decisivo: se i soldi sono stati rubati, quei soldi non ci sono più. L’exchange potrebbe disporre di altre risorse per coprire l’ammanco, ma questo va verificato: una copertura dichiarata non basta a garantire che i clienti possano recuperare i propri fondi dopo un furto. Dopo la mia contestazione, il sistema ha aggiunto precisazioni e continuato a sostenere la sua versione, solo dopo ulteriori obiezioni, ha riconosciuto quanto la risposta iniziale potesse essere fuorviante.

La conversazione prendeva spunto dalla recente notizia dell’attacco a Binance.

La domanda che mi sono posto è semplice: cosa sarebbe successo se dall’altra parte ci fosse stata una persona pronta a prendere per buono tutto quello che dice l’intelligenza artificiale, senza ragionarci almeno un po’? Avrebbe potuto portarsi via una convinzione rassicurante, espressa con un linguaggio abbastanza tecnico da sembrare solida. E magari ripeterla ad altri.

Dopo un furto, chi copre l’ammanco?

Se un attacco informatico riesce e vengono rubati fondi per diversi miliardi di dollari, quei fondi non sono più disponibili presso l’exchange. A quel punto la domanda è se la piattaforma abbia altre risorse sufficienti per coprire l’ammanco e restituire ai clienti quanto spetta loro.

L’exchange potrebbe riuscirci, per esempio utilizzando risorse proprie o altre coperture effettivamente disponibili come un fondo di emergenza. Rimane che una copertura dichiarata non permette, da sola, di concludere con certezza che il buco sarà colmato.

Era questo il punto della mia domanda a ChatGPT. La risposta, invece, lasciava intendere che la copertura delle attività dei clienti bastasse a rassicurare sulla restituzione, proprio mentre si parlava di fondi sottratti. La differenza è sostanziale: una cosa è dichiarare una copertura, un’altra è dimostrare di poter davvero coprire il buco dopo il furto in modo materiale.

La sicurezza del tono non è una prova

Il problema va oltre le criptovalute. Immagina di chiedere a ChatGPT alcune alternative a un ETF obbligazionario governativo a breve termine molto conosciut. Tra le proposte compare anche un ETF che costa meno.

Un investitore poco accorto potrebbe fermarsi al costo inferiore, pensare di aver trovato un affare e acquistarlo senza controllare il resto. Purtroppo però questo fondo che costa meno gestisce meno di 100 milioni, mentre quello più conosciuto oltre 1000. La differenza di dimensioni, merita attenzione: un fondo piccolo può essere meno sostenibile per il gestore e avere maggiori possibilità di essere chiuso o fuso. In quel caso l’investitore potrebbe dover reinvestire il capitale, sostenere costi e affrontare eventuali conseguenze fiscali.

Anche la negoziazione va verificata ed è spesso più problematica per ETF di dimensioni inferiori: potrebbe essere meno liquido, avere uno spread più ampio, il risparmio sui costi può quindi ridursi fino ad essere persino maggiore. Per valutare se l’alternativa sia adatta occorre quindi confrontare dimensioni, costi di negoziazione e altre caratteristiche rilevanti. La risposta di ChatGPT può apparire corretta perché propone un ETF simile e meno costoso, ma se trascura queste differenze può indurre l’investitore a prendere una decisione sbagliata.

Quando la correzione diventa un’altra risposta accomodante

Nella mia conversazione mi ha colpito anche il modo in cui il sistema ha reagito alla contestazione. Prima ha aggiunto condizioni alla propria spiegazione; poi ha riconosciuto l’errore in termini sempre più netti. Alcune precisazioni erano utili. Restava però una domanda: la correzione nasceva da una verifica delle premesse oppure stava seguendo la pressione dell’interlocutore?

Non posso conoscere il percorso interno di quella singola risposta.

Poi c’è il problema della compiacenza.

Il collegamento con il nostro comportamento è evidente. Se entri nella conversazione convinto che un investimento sia sicuro, puoi cercare conferme e fermarti alle risposte che ti rassicurano. Se il sistema asseconda quella convinzione, il tuo bias trova un interlocutore disponibile ventiquattr’ore su ventiquattro. La sensazione di aver approfondito può crescere insieme alla fiducia, anche quando in realtà sei sulla strada sbagliata e le vere domande sono altre ma restano fuori.

Dall’errore individuale alla responsabilità di chi costruisce

Ora pensa al percorso di una risposta del genere. Una persona la legge, la racconta a un familiare o la usa per spiegare un concetto ai colleghi. Qualcun altro la ripete. A ogni passaggio può sparire un pezzo del contesto: le ipotesi iniziali, i limiti, l’eventuale correzione arrivata dopo. Resta la frase facile da ricordare.

È un rischio di propagazione. E riguarda anche chi insegna, scrive o lavora in azienda: l’autorevolezza di chi ripete un’informazione può aggiungersi a quella percepita dello strumento che l’ha prodotta. Un errore iniziale diventa così materiale per altre spiegazioni e, potenzialmente, per altre decisioni.

Per questo non mi convince una soluzione che scarichi tutto sull’utente: «verifica sempre». Certo, controllare conta. Ma proprio chi usa l’IA per capire una materia nuova è per definizione la persona meno attrezzata per riconoscere un’affermazione sbagliata. Se devo già conoscere la risposta per capire se lo strumento è affidabile, qualcosa nella distribuzione delle responsabilità non funziona.

Continuo a considerare l’intelligenza artificiale uno strumento potente: può aiutare a organizzare idee, cercare collegamenti e formulare domande migliori. I modelli più potenti sono persino in grado di portare avanti task e lavorare in autonomia per ore.

Però questo problema esiste e non lo si può negare.

Mi capita sempre più spesso di discutere con qualcuno che, per sostenere la propria posizione, afferma: «Lo dice anche l’Intelligenza Artificiale». Ma per capire quanto valga quella risposta bisogna sapere quale domanda è stata posta, in quale contesto e attraverso quale conversazione si è arrivati a formularla, e comunque, può essere sbagliata ugualmente.

La conclusione che mi porto via è questa: una spiegazione convincente può aiutarti a seguire un ragionamento, ma per valutarne l’affidabilità servono esperienza e competenza nella materia. Chi le possiede può riconoscere errori e anomalie che una persona meno esperta rischia di non notare, accettando così per corrette conclusioni sbagliate, può verificare le fonti interpretandole correttamente, cosa che una persona meno esperta può non essere in grado di fare. Ecco come stiamo anche rispondendo alla domanda di quale sia il compito oggi dell’uomo all’interno di un mondo che si dota di strumenti di questo tipo.

A me capita tutti i giorni. Quando parlo con ChatGPT di argomenti che conosco poco, rimango affascinato: mi sembra di avere di fronte un genio. Quando invece discutiamo della mia materia, la consulenza finanziaria, riesco a valutare meglio le risposte. A volte sono buone, altre volte molto buone, e capita che ci siano anche intuizioni geniali. Spesso, però, noto passaggi vaghi, dettagli errati o spiegazioni fuorvianti che richiedono una correzione.

Penso che possa accadere anche quando parliamo di altri argomenti, solo che, avendo meno competenze, potrei non accorgermene. Allo stesso modo, chi non ha le competenze di un consulente finanziario potrebbe non riconoscere le anomalie che io riesco a individuare.

Oggi questo è ancora uno dei ruoli dell’essere umano. In futuro i modelli diventeranno più potenti e questo ruolo potrebbe ridursi gradualmente. Ma di questo parleremo magari in un’altra puntata.