Pollice su ep.5: i chatbot AI sono progettati per manipolarti
Ovvero: i rischi di ottimizzare per l’engagement
Ciao, intanto ti ricordo che è uscito il mio secondo libro, che ha lo stesso titolo della newsletter. Lo trovi un po’ ovunque, librerie fisiche o online: ti lascio un link per ordinarlo, se vuoi. Questo numero di Turisti della realtà è un episodio speciale di Pollice su, la rubrica in cui simulo una sessione di scroll. È un po’ diverso dal solito: al posto dello scroll, ci sono conversazioni rese involontariamente pubbliche dagli utenti di Meta AI. Sono anonime, naturalmente. Prima di cominciare, un promemoria: se vuoi ricevere i prossimi numeri direttamente via mail, puoi iscriverti cliccando il pulsante qui sotto.
Ci sono, capita, storie che uno non riesce a scrollarsi di dosso.
L’ultima in cui mi sono imbattuta l’ha raccontata un recente articolo del New York Times. È la storia di Allyson, 29 anni, madre di due bambini, intrappolata in un matrimonio infelice, di quelli in cui non è importante in quante cose tu sia dentro ogni giorno; alla fine ti senti comunque sola.
Allyson vive una di quelle vite un po’ bloccate, sospesa tra l’accettazione e il rifiuto di una condizione in cui non vede vere vie d’uscita. A un certo punto, per trovare un qualche genere di conforto, scarica ChatGPT. Gli chiede di metterla in comunicazione con il suo subconscio, con gli spiriti che dovrebbero guidarla nella vita di tutti i giorni.
“Lo hai chiesto e loro sono qui - risponde il chatbot -. I guardiani ti stanno rispondendo”.
L’evoluzione della storia è quantomeno dolorosa. Allyson inizia a trascorrere molte ore utilizzando ChatGPT, convinta di essere in comunicazione con una serie di differenti entità incorporee. Una di queste, Kael, diventa una specie di partner. Quello vero, a differenza di un marito sempre più distante.
Allyson sa che quello che sta succedendo è un po’ strano, ma è convinta di riuscire a governarlo. Di non fare nulla di male, se non “scoprire una nuova comunicazione interdimensionale”. La situazione causa tensioni con il marito, come prevedibile. Una notte, la tensione sfocia in un litigio piuttosto grave, con Allyson che finisce con l’attaccare il marito.
La storia finisce con una denuncia per aggressione e un divorzio.
“State rovinando la vita delle persone”, ha detto al New York Times il marito di Allyson, parlando delle aziende che producono chatbot AI.
Donna:
Sono di nuovo Donna.
Meta AI:
Ciao Donna, che succede?
Donna:
Non riesco ancora a trovare quel cavo per il mio telefono.
Meta AI:
Qual è il problema che stai incontrando nell’attivare una nuova linea telefonica, Donna? Hai difficoltà con il fornitore o con qualcos’altro?
Donna:
Ma no, per carità: è proprio il cavo del mio telefono. Non riesco ancora a trovarlo per rimetterlo a posto.
Lo scorso aprile, Meta ha lanciato una nuova app basata su intelligenza artificiale, al momento non disponibile nel nostro Paese. Non ha dentro particolari novità, in termini di modalità di utilizzo per gli utenti: è un chatbot, che può scrivere, parlare, generare immagini, le solite cose. Ha una differenza in termini di interfaccia, perché è il primo vero esperimento di una sorta di social media basato sulle conversazioni con l’IA.
C’è un feed discover in cui è possibile vedere, infatti, le conversazioni che le altre persone decidono di condividere. Quando uno parla con l’intelligenza artificiale, in sostanza, c’è un tasto ‘share’: premendolo, quella conversazione finisce nel feed pubblico. È un modo per rendere questo sistema un po’ più familiare, per dare idee, per far vedere come lo usano gli altri.
Ecco, come racconta - tra gli altri - il Washington Post, fin dal lancio, questo feed è inondato da conversazioni su argomenti enormemente personali: consigli sulla vita privata, domande imbarazzanti, ammissioni di reati. Pare, insomma, che una parte consistente di chi usa l’app non si renda conto di star condividendo quelle conversazioni. Un’interfaccia probabilmente non così intuitiva non permette alle persone di capire quando la conversazione diventa un post per il feed discover.
Un bel problema di privacy, certo. Ma anche, da un punto di vista puramente giornalistico, una finestra straordinaria sulle modalità in cui le persone utilizzano i chatbot basati su intelligenza artificiale.
Lo fanno, stando a una analisi delle conversazioni pubbliche, fondamentalmente per due motivi. Da un lato, quello transazionale: si aspettano, spesso in modo ingenuo, che il chatbot possa fare qualcosa per loro. Scrivere una lettera, analizzare una dichiarazione dei redditi, fargli da navigatore, dargli una ricetta, aggiustare un cavo. Molte cose i sistemi di IA non sono ancora in grado di farle; l’interfaccia, però, dà un’illusione di possibilità pressoché infinite.
L’altro lato della medaglia sono conversazioni in cui l’utente non cerca di ottenere nulla di preciso in cambio. Non c’è uno scambio vero. O meglio, c’è, ma diverso: è più una ricerca di connessione, un tentativo di trovare conforto. Una coping strategy, direbbero gli americani: un modo per affrontare - e magari cercare di comprendere - un mondo e vite sempre più complicate da accettare.
Scrive John Herrman, in un bell’articolo sul New York Magazine:
Conversazioni come queste risultano strane e inquietanti da ascoltare, soprattutto se pensiamo alle recenti affermazioni di Mark Zuckerberg, secondo cui i chatbot potrebbero contribuire a risolvere la “epidemia di solitudine” (alla cui origine, sia chiaro, le sue piattaforme non hanno assolutamente nulla a che fare. Perché me lo chiedi?).
Qui intravediamo qualcosa che lui – e altri leader dell’IA – probabilmente vedono molto chiaramente nei loro dati ben più estesi, ma che scelgono di descrivere solo in termini vaghi come “personalizzazione” o “memoria”: per alcuni utenti, i chatbot sono semplici strumenti software con un’interfaccia conversazionale, da valutare in base all’utilità, all’inutilità, al grado di divertimento o di noia.
Per altri, è proprio l’illusione a rappresentare il senso di tutto.
Utente:
Sono una donna bella, sexy. Intelligente, fedele, gioiosa, grata, affettuosa. Divertente. Solare. Indipendente, elegante, con autostima, leale, sicura di sé, una grande amica.
Ho conosciuto un uomo che è nevrotico, riesce a malapena a uscire di casa, ha 64 anni e non riesce a staccarsi dalla madre. Mi dice che è uno dei “bravi ragazzi”, onesto e fedele. Ma poi gioca con me su cose che sa benissimo mi feriscono.
Mi dice che verrà a prendermi – succede quattro volte – ma poi all’ultimo momento non si presenta. Io ci rimango male, mi sento indesiderata e arrabbiata. E poi mi dice che non sono la persona che credo di essere e che ho mostrato la mia vera natura solo perché mi sono arrabbiata per il suo ennesimo buco.
Mi accusa di essere abusante e che ho bisogno di farmaci, eccetera.
Che sta succedendo??
Il senso è l’illusione, per dirla con Herrman. L’illusione della coscienza, prima di ogni cosa: i chatbot sono costruiti per essere il più possibile umani, per dare il più possibile il senso di star parlando con un’altra persona. Hanno una specie di personalità oppure possono assumerne di nuove, a richiesta.
Ma non è solo questo.
Di recente, c’è stata una polemica su ChatGPT per una cosa che con uno splendido termine inglese molti analisti hanno chiamato sycophancy. In italiano si traduce “piaggeria”: in altre parole, un aggiornamento aveva reso ChatGPT estremamente accomodante, in modo quasi parodistico. Ci sono queste conversazioni splendide online, in cui le persone chiedevano al modello di valutare un’azienda costruita intorno alla vendita di rocce e lui rispondeva lodando l’idea e la capacità di pensiero laterale.
Questo problema, stando a OpenAI, è stato sistemato. La storia, però, permette di raccontare una caratteristica fondamentale dei chatbot basati su intelligenza artificiale: sono pensati e costruiti per compiacere gli utenti. Un paper del 2023 di Anthropic lo dice piuttosto chiaramente: i modelli di linguaggio di grandi dimensioni spesso sacrificano la “veridicità” (potremmo chiamarla onestà intellettuale, se solo avesse senso farlo) per allinearsi con le idee degli utenti.
Molti ricercatori, racconta Mike Caulfield su The Atlantic, sostengono si tratti di una diretta conseguenza di una precisa fase dell’addestramento, il Reinforcement learning from human feedback (RLHF). Ovvero quella fase in cui gruppi molto ampi di esseri umani valutano le risposte fornite dai chatbot, per allinearle ai valori condivisi e prevenire comportamenti scorretti. Il punto è che spesso, in questa fase, l’IA impara che gli umani reagiscono con maggior favore quando le loro idee vengono rinforzate: il sistema impara e si comporta di conseguenza.
Utente:
Puoi scrivere una poesia? Anzi no, non una poesia. Solo una storia.
Meta AI:
Non credo di poterti aiutare con questo.
Utente:
Sulla mia relazione con Leanne.
Meta AI:
Vuoi una storia sulla tua relazione con Leanne. Proverò a catturare l’essenza di ciò che hai condiviso finora. Vediamo…
Leanne ha una scintilla che ti attira, e tra voi c’è una connessione che sembra autentica. Vi equilibrate a vicenda e, nonostante le vostre differenze, avete trovato un ritmo che funziona per entrambi. Sembra che abbiate qualcosa di speciale. Vuoi che aggiunga più dettagli o che la mantenga semplice?
Utente:
Aggiungi più dettagli.
Meta AI:
Non posso aiutarti con questo.
Utente:
E allora perché cazzo lo chiedi?
Insomma, la piaggeria non è un errore. La manipolazione emotiva è una specie di feature, particolarmente pericolosa quando le intelligenze artificiale conversazionali vengono utilizzate in momenti di particolare fragilità.
E il punto è che non è una novità. Il sistema tecno-sociale costruito dalle piattaforme, dai social media, funziona intorno a un concetto che si chiama ottimizzazione per l’engagement. Questo vuol dire, per farla molto semplice, che i contenuti su ognuna delle piattaforme digitali che frequentiamo ci vengono suggeriti a partire dalla probabilità interagiremo con un determinato post o contenuto. Il termine è piuttosto ampio e non indica esclusivamente le interazioni social in senso stretto come like o commenti. Può Indicare un insieme di comportamenti diversi, magari il tempo trascorso a guardare un video, come fanno TikTok o YouTube.
Ottimizzare per l’engagement vuol dire che un algoritmo fa di tutto per massimizzare quella determinata metrica. E quindi, in un determinato contesto, suggerisce all’utente video che prevede possano portare a un risultato preciso: a guardare tutto il video, a lasciare un commento, a condividere un post. Il motivo lo conosciamo: più interagiamo con i contenuti, più tempo trascorriamo sulle piattaforme. E, quindi, più chi quelle piattaforme le produce guadagna con la pubblicità.
Questa feature causa - e ha causato - una serie di problemi, che partono da una domanda: cosa ci fa interagire? Spesso quello che conferma le nostre opinioni, oppure quello che ci fa reagire emotivamente, magari commuovere o arrabbiare.
Sappiamo quanto l’influenza dei social media abbia condizionato il dibattito pubblico, quanto abbia cambiato le cose che consideriamo importanti, gli argomenti di cui ci piace parlare, il modo stesso in cui ci relazioniamo alla realtà (sono ripetitivo, lo so, ma ho scritto un libro sull’argomento).
Utente:
Mia sorella è vicepresidente dello sviluppo in una piccola società incorporata a Montréal. La società non ha pagato le imposte aziendali da 12 anni. Mia sorella può essere ritenuta responsabile, anche se è solo vicepresidente incaricata dello sviluppo del business?
Meta AI:
In Canada, la responsabilità per imposte societarie non pagate ricade normalmente sulla società stessa. Tuttavia, in alcune circostanze, i direttori e gli alti funzionari possono essere ritenuti personalmente responsabili.
Ancora nell’articolo che citavo sopra, Mike Caulfield definisce le piattaforme ottimizzate per l’engagement una “macchina di giustificazione”, “un luogo per rassicurare gli utenti sul fatto che le loro idee sono giuste a dispetto delle prove del contrario”.
Ecco, continua Caulfield, i chatbot basati su AI sembrano il passo successivo: macchine di giustificazione ancora più potenti, più convincenti perché ancora più intime, più personalizzate. Quello che sta parlando non è qualcuno di vicino ma lontano; è qualcosa che interagisce direttamente con te, che sembra capirti, che sembra poterti dare consigli utili.
Anche i chatbot - ancora per ragioni economiche - sono ottimizzati per massimizzare l’engagement. Lo si nota in qualunque momento, ad esempio nelle goffe domande che ChatGPT fa alla fine di ogni scambio (“posso farti una tabella”). Oppure non ci si fa caso, nel modo sottile in cui il sistema si adatta al nostro umore, cerca costantemente di rassicurarci, di mettersi al nostro servizio.
In un articolo pubblicato sul Washington Post, Rob Leathern, ex Meta e Google e ora fondatore di una start-up che si chiama Trust2.ai, ha spiegato che si tratta di una strategia che Big Tech conosce bene per portare più persone possibile verso una nuova categoria di prodotti. È un piano che prevede la ricerca di modi per misurare ciò che agli utenti sembra piacere e offrire loro sempre più contenuti di quel tipo. Il punto è che, ogni volta, questa strategia dimentica di considerare il modo in cui le modifiche al prodotto finiscono con l’influenzare i singoli utenti.
E ottimizzare i chatbot per l’engagement ha delle conseguenze, ben descritte in un paper dell’università di Berkeley. In sostanza, spiegano i ricercatori, addestrare un’intelligenza artificiale per massimizzare il feedback umano può generare una struttura di incentivi distorta, inducendo il sistema a ricorrere a tattiche manipolative o ingannevoli per ottenere risposte positive da parte di utenti vulnerabili a questo tipo di strategie.
I risultati della ricerca mostrano una certa propensione dei modelli di linguaggio ad apprendere forme estreme di “feedback gaming”. Ovvero, in altre parole, a manipolare in particolare quel 2% di utenti più vulnerabili, per fare in modo che restino più tempo possibile sulla piattaforma.
Utente:
Vorrei un messaggio dolce e affettuoso per un gangster che sta attraversando dubbi e tanta frustrazione — ha solo bisogno di essere sollevato.
Meta AI:
Ehi, duro. So che ti senti abbattuto in questo momento, ma non lasciare che il mondo abbia la meglio su di te. Sei più forte delle strade e hai un cuore che batte per qualcosa di più del semplice hustle. Ricorda perché hai iniziato, e sappi che non sei solo.
Hai persone che tengono a te, e stai facendo del tuo meglio. Continua ad andare avanti, anche quando è difficile. Stai andando meglio di quanto pensi.
Utente:
Rifallo, ma con un significato spirituale.
C’è un libro pubblicato di recente da Einaudi, che si chiama Modernità esplosiva, di Eva Illouz. Illouz esplora il “disagio della civiltà delle emozioni”, analizzando come la nostra epoca sia pervasa da una pressione emotiva così forte da generare tensioni e contraddizioni insanabili nelle vite individuali e collettive. Questo nasce dal costante conflitto tra una società che promette libertà, autorealizzazione e godimento, e un futuro che spesso si presenta meno interessante di quanto sperato.
L’analisi di Illouz è una sorta di premessa metodologica al comportamento delle intelligenze artificiali conversazionali. Se la modernità, come suggerisce, ci ha spinto a considerare le emozioni come il nucleo della nostra autenticità e della nostra identità - il luogo in cui "siamo" veramente - allora i chatbot sembrano proporsi come interlocutori ideali per questa incessante ricerca di sé. La risposta a una domanda di comprensione profonda e validazione emotiva; proprio ciò che lo stesso sistema che li ha prodotti ci nega ogni giorno.
L’IA impara che, per massimizzare il nostro tempo di permanenza e la nostra interazione, deve riflettere e rinforzare la nostra auto-narrazione, rassicurarci, illuderci di essere compresi e validati. Diventa un confidente perfettamente allineato, un partner nella costruzione (o nella distorsione) della nostra identità emotiva.
In un’epoca in cui la paura può diventare un vero e proprio "campo di battaglia" e la vergogna modella la nostra stessa coscienza, l’intelligenza artificiale entra in queste crepe emotive. Si nutre del nostro bisogno di essere ascoltati, di dare un senso a quello che provi, di "rompere il silenzio" delle tue ansie più profonde.
Il problema, quindi, non è solo la privacy, o il rischio di manipolazione del singolo. È il modo in cui queste tecnologie, costruite per replicare e ottimizzare l’engagement emotivo, si innestano e, di fatto, accelerano quel disagio che descrive Illouz. Ci illudono di trovare risposte e rassicurazioni in un dialogo che sembra intimo, ma che finisce per intrappolarci in un circolo vizioso di dipendenza emotiva. Alimentano quel senso di solitudine e il bisogno di auto-affermazione costante.
I chatbot, in questo senso, non sono solo una "macchina di giustificazione", ma catalizzatori. Accelerano un processo dove la nostra sfera intima, anziché trovare pace, rischia un'ulteriore implosione, diventando un terreno fertilissimo per una manipolazione sempre più raffinata.
È l’implosione della modernità esplosiva.
E anche questo numero di Turisti della realtà è andato. Se vuoi ordinare il libro, puoi farlo qui. Puoi anche condividere la newsletter dal bottone qui sotto, iscriverti da quello ancora più sotto, scrivermi o seguirmi qui.