L’uso professionale della GenAI richiede consapevolezza dei suoi limiti: i modelli linguistici non sono biblioteche né motori di ricerca, ma sistemi che generano testo secondo logiche statistiche non pienamente ricostruibili. Il rischio non riguarda solo l’attendibilità delle informazioni, ma soprattutto la solidità dei ragionamenti che le collegano. Per questo non basta “chiedere a ChatGPT”: occorre imparare a formulare richieste verificabili, controllare i passaggi logici e sottoporre l’output a un vaglio critico.
«Chiedi a ChatGPT!». Le prime volte che l’ho sentito, aveva un accento ironico, scherzoso. Qualcuno faceva una domanda a cui poteva trovare da sé la risposta, e questa era la risposta. Poi, però, mi sono accorto che il tono si era fatto serio: un vero e proprio invito a cercare informazioni interrogando le AI.
Facciamo un passo indietro. Quando nel novembre 2022 OpenAI ha reso GPT interrogabile in linguaggio naturale attraverso una chat, il mondo era – diciamolo chiaramente – del tutto impreparato. Solo gli specialisti usavano fino ad allora le AI del linguaggio.
Poi, se prima c’era solo ChatGPT, ne sono arrivati presto tanti altri, ognuno con caratteristiche diverse, ma sempre tutti basati sulla medesima tecnologia: il Transformer, l’architettura alla base dei moderni modelli linguistici, che genera il testo un token alla volta, selezionando di volta in volta il token successivo sulla base delle probabilità determinate dal modello (“Next token predictor” – token: parole e non parole, come punteggiatura, numeri ecc.).
Ma non è possibile ricostruire in modo completo come il modello sia arrivato a produrre quella risposta. Semplificando molto succede che:
- le AI vengono addestrate su enormi quantità di dati, tra cui anche su miliardi di testi (soprattutto web);
- gli esseri umani progettano il processo, ma non costruiscono il modello regola per regola: il modello emerge dall’addestramento.
È questa la c.d. Black box, cioè un sistema il cui funzionamento interno non è completamente interpretabile né ricostruibile dall’esterno.
Pertanto, noi vediamo il testo senza poter ricostruire il percorso che ha portato alla sua formulazione. Pensiamo, invece, alle fonti a cui siamo abituati, ad esempio un libro o un articolo: ne conosciamo autore, data, editore e, spesso, fonti e riferimenti. Sono informazioni che ci dicono qualcosa prima ancora di averlo letto.
Di un testo AI non abbiamo queste informazioni. Però sappiamo che:
- le AI non sono biblioteche: i testi con cui sono stati addestrate non esistono più come unità bibliografiche perché sono stati scomposti in token;
- le AI non sono motori di ricerca. Per quanto oggi possano interrogare il web, elaborano un testo e solo occasionalmente ci danno le fonti web che hanno consultato. Ma non è affatto detto che tra la fonte e il testo elaborato ci sia corrispondenza.
Le GenAI possono elaborare testi, ma non hanno come funzione fondamentale la lettura intesa come ricostruzione e verifica delle informazioni contenute in una fonte. Potremmo dire, provocatoriamente, che “fanno di testa loro”. In realtà, non eseguono necessariamente il compito nel modo in cui lo intendiamo noi: generano testo secondo il funzionamento statistico del modello.
Come che sia, quello che scrivono ha una certa importanza per noi. Quanta? Dipende da quanto conosciamo l’argomento. Se lo conosciamo poco, potremmo fidarci troppo.
Anche perché le AI dicono IO, dicono TU, dicono «IO penso», dicono «Hai fatto una domanda intelligente» ecc.. Si presentano per quello che non sono: macchine pensanti e addirittura senzienti.
Presentarsi per chi non si è, non è tanto bello. Qualcuno potrebbe dire che non è etico. Sono d’accordo, ma mi interessano di più gli effetti sul convincimento dell’utilizzatore.
Un discorso senza un IO, soprattutto un’argomentazione persuasiva, ci costringe a esaminare le informazioni senza un soggetto da approvare o contestare. Viceversa, un IO produce naturalmente un effetto di accordo o disaccordo prima ancora che il testo sia letto. A seconda di ciò che penso, per esempio, del Presidente del Consiglio, sarò portato ad approvare o disapprovare quello che dice prima ancora di averlo letto.
Assumendo così una postura umana, le AI favoriscono il nostro convincimento positivo: ci danno quella che percepiamo come la risposta alla nostra domanda. Ma, come ho illustrato in un altro articolo, per il modello il prompt non è una domanda: è una sequenza di token da elaborare e completare. Anche ciò che chiamiamo «risposta» non è quindi una risposta in senso proprio.
Il problema principale, però, non riguarda l’attendibilità delle informazioni bensì il ragionamento che le collega. I testi prodotti possono riflettere anche caratteristiche presenti nei dati di addestramento, compresi testi caratterizzati da semplificazioni, errori o ragionamenti poco rigorosi. Questo può contribuire alla produzione di risposte che presentano come fondate relazioni che non lo sono: correlazioni interpretate come rapporti causali, successioni cronologiche interpretate come rapporti di causa-effetto, generalizzazioni non giustificate dai dati.
Niente di nuovo: si tratta dei sofismi stigmatizzati fin da Platone e Aristotele (oggi detti anche fallacie logiche, bias cognitivi ecc.).
Quando una persona legge un testo prodotto da un’altra persona, tende a chiedersi: chi lo ha scritto? Su quali fonti si è basato? Quali competenze ha? Quali interessi ha? Quando invece legge un testo prodotto da una GenAI, queste domande non si possono fare.
La conseguenza è paradossale: più la risposta è fluida, ordinata e convincente, più può diventare difficile accorgersi che il ragionamento che la sostiene è debole.
Per questo «Chiedi a ChatGPT!» non è un buon metodo. Un professionista non ha bisogno soltanto di una risposta. Ha bisogno di sapere come ottenere dall’AI un testo che possa essere sottoposto a controllo, quali informazioni fornire, quali richieste formulare, quali passaggi verificare e quali errori cercare.
In altre parole, non basta imparare a usare l’AI. Occorre imparare come interagire con un sistema che genera testo senza sapere che cosa sta dicendo.
Ed è questo il passaggio dalla curiosità verso la GenAI al suo uso professionale.
