Come funzionano le risposte delle AI e perché cambiano ogni giorno

Un motore di ricerca classico restituisce un elenco di pagine che esistono già. Un assistente come ChatGPT, Gemini o Claude fa un'altra cosa: scrive la risposta, una parola dopo l'altra, scegliendo ogni volta tra le continuazioni più probabili. Non c'è un archivio di risposte pronte da cui pescare.

In quella scelta c'è una parte di caso voluta: gli assistenti non prendono sempre la parola più probabile, altrimenti scriverebbero in modo meccanico e ripetitivo. Per questo due risposte alla stessa domanda possono partire allo stesso modo e poi divergere, citare gli stessi nomi in un ordine diverso, o citarne uno in meno.

Per chi ha un'attività la conseguenza è diretta. Se chiedi «che olio extravergine regalare a Natale?» e vedi comparire il tuo frantoio, non sai ancora se succede una volta su dieci o nove su dieci.

Quando un assistente risponde, può attingere a due cose diverse.

• La memoria del modello. Durante l'addestramento il modello ha letto una grande quantità di testi, fino a una certa data. Da lì ricava quello che «sa» su settori, marchi e luoghi. Se la tua attività è nuova, o se di te si è scritto poco, in questa memoria puoi semplicemente non esserci.
• La ricerca sul web al momento. Sempre più spesso l'assistente cerca in rete prima di rispondere, legge alcune pagine e costruisce la risposta su quelle. In questo caso di solito mostra anche le fonti: i link alle pagine che ha consultato.

Non sempre è chiaro quale delle due strade sia stata presa, e spesso si mescolano. Ma la differenza conta: una risposta data a memoria cambia solo quando cambia il modello; una risposta costruita sul web può cambiare ogni volta che cambiano le pagine che trova. Google AI Mode, per esempio, si appoggia alla ricerca di Google; ChatGPT e Gemini cercano sul web quando lo ritengono utile.

Oltre alla parte di caso, ci sono almeno cinque motivi concreti.

• Le pagine trovate cambiano. Esce un nuovo articolo, una guida viene aggiornata, un forum si riempie di commenti: la ricerca restituisce altro, e la risposta segue.
• Il modello viene aggiornato. Le aziende che sviluppano gli assistenti rilasciano versioni nuove senza preavviso per chi le usa. Una versione nuova può ricordare cose diverse e rispondere in modo diverso.
• La domanda non è mai identica. «Miglior fisioterapista a Bologna» e «fisioterapista bravo per il mal di schiena a Bologna» sono, per un assistente, due domande diverse. Basta una parola per cambiare i nomi citati.
• Il contesto di chi chiede. Alcuni assistenti tengono conto della conversazione precedente, della lingua, a volte della posizione o di preferenze salvate. Due persone non vedono necessariamente la stessa risposta.
• Ogni assistente è un sistema a sé. ChatGPT, Gemini, Claude e Google AI Mode hanno modelli, memorie e modi di cercare diversi. Essere consigliati da uno non dice nulla sugli altri.

Se le risposte cambiano, l'unica misura che ha senso è una misura ripetuta. Non «mi ha nominato sì o no», ma su quante risposte mi nomina, sulle stesse domande, nel tempo e su più assistenti.

Prendiamo uno studio di fisioterapia inventato, a Bologna. Il titolare prova una sera su ChatGPT e trova il suo nome al secondo posto: ottimo. Una settimana dopo un cliente gli dice di aver chiesto la stessa cosa e di non averlo visto. Nessuno dei due ha mentito. Hanno visto due estrazioni diverse dello stesso sistema. La domanda utile è: su venti risposte, in quante compare? E chi compare al suo posto nelle altre?

Da qui alcune regole semplici per chi vuole misurare da solo:

• scegli poche domande, quelle che un cliente farebbe davvero, e tienile sempre uguali;
• ripetile a intervalli regolari, non quando ti viene in mente;
• annota anche le risposte in cui non compari: sono la metà del dato;
• tieni separati gli assistenti, perché non si comportano allo stesso modo;
• diffida dei numeri costruiti su due o tre prove: un 100% su due risposte è un caso, non un risultato.

Faro fa esattamente questo lavoro di ripetizione. Pone le stesse domande a ritmo fisso: a ChatGPT, Gemini e Google AI Mode il lunedì, il mercoledì e il venerdì, a Claude il lunedì. Le risposte di ChatGPT, Gemini e Google AI Mode le leggiamo dal sito dell'assistente, come le vedrebbe una persona nuova che chiede dall'Italia; quelle di Claude arrivano dalle sue API ufficiali.

Ogni risposta viene segnata in due modi: chi nomina, in che ordine, e se è stata costruita su pagine trovate sul web o data a memoria. E quando su una domanda ci sono meno di tre risposte misurate, al posto della percentuale la dashboard scrive «dato insufficiente»: preferiamo dirti che non lo sappiamo ancora piuttosto che mostrarti un numero che domani sarà diverso.

• Le AI scrivono la risposta ogni volta: due risposte alla stessa domanda possono differire.
• Rispondono a memoria, cercando sul web, o mescolando le due cose.
• Le risposte cambiano con le pagine trovate, con gli aggiornamenti del modello, con le parole della domanda e con l'assistente.
• Per sapere se ti consigliano serve una misura ripetuta, non una prova.

Per cominciare a mano, c'è la guida su come capire se la tua attività viene citata dalle AI.