Una sola risposta di ChatGPT non è un audit. È un aneddoto
Come riconoscere un audit GEO affidabile da uno improvvisato e perché la differenza vale i vostri soldi, non solo il rigore scientifico.
In una call recente, un cliente mi ha fatto una domanda diretta: "come faccio a sapere che il risultato che mi date è davvero affidabile?"
È la domanda che dovrebbe fare chiunque stia per prendere una decisione (e spesso un budget) sulla base di un audit GEO. Perché nel mercato di oggi, tra chi offre questo servizio, la differenza tra chi misura davvero e chi improvvisa è enorme, e quasi mai visibile a occhio nudo finché non si guarda sotto il cofano.
Nessun analista dati trarrebbe conclusioni sulle performance di un sito da una sola sessione utente in Google Analytics. Eppure capita di vedere "audit GEO" costruiti su tre domande fatte a mano a ChatGPT, con uno screenshot incollato in una slide e un prezzo in fondo alla proposta. Comprensibile, perché sembra un modo rapido per vendere qualcosa, ma è bene saperlo prima di pagarlo: un singolo output di un LLM è un aneddoto, non una misura.
Perché un output isolato non vale i vostri soldi
Le risposte di un modello linguistico non sono deterministiche: la stessa domanda, posta due volte, può produrre risposte diverse. Non è un difetto occasionale, è come funzionano questi modelli. Un singolo output è, statisticamente, un campione di dimensione 1: non dice nulla sul comportamento reale del modello, solo cosa è successo in quel preciso istante. Se state pagando per un audit basato su questo, state pagando per una fotografia casuale, non per un dato su cui costruire una strategia. Ecco cosa chiedere, prima di firmare qualsiasi proposta:
Prompt documentati. Wording esatto, data, contesto, tutto tracciato. Se chi vi vende l'audit non può mostrarvi esattamente cosa ha chiesto e quando, non potete nemmeno verificare il risultato, figuriamoci ripeterlo tra tre mesi per vedere se siete migliorati.
Ripetizioni. Lo stesso prompt va inviato più volte, per capire se il risultato osservato è la norma o un caso isolato. Una chiamata sola non vi dice nulla di utile.
Campionamento coerente. Stesso numero di ripetizioni, stessa finestra temporale, stesso set di prompt per voi e per i vostri competitor. Senza questo, il confronto che vi vendono come "analisi competitiva" è aria.
Più modelli. Chi guarda un solo LLM vi sta vendendo metà del mercato come se fosse il totale.
Intervalli di confidenza. "Comparite nel 60% delle risposte" senza un margine di errore calcolato è un numero senza contesto, potrebbe significare tutto o niente. Noi usiamo l'intervallo di confidenza di Wilson al 95%, e lo dichiariamo.
Accesso alle evidenze. Dovete poter risalire dal numero aggregato ai singoli output grezzi che lo hanno generato. Se chi vi vende l'audit non ve lo permette, c'è una ragione per chiederselo.
Il punto, in termini commerciali Non sto dicendo questo per accademismo. Lo dico perché chi vi vende un'analisi senza questi criteri non sta necessariamente agendo in malafede, spesso semplicemente non ha la struttura per farlo bene, e costa tempo e competenze che molti fornitori "generalisti" non hanno. Ma il risultato per voi è lo stesso: pagate un servizio che può ribaltarsi completamente rifacendo la stessa domanda cinque minuti dopo. Ed è un rischio che si paga due volte: una volta nel prezzo dell'audit, una seconda nelle decisioni che prendete sulla base di numeri inaffidabili.
È per questo che pubblichiamo la nostra metodologia, senza filtri, su https://trygeosuite.it/metodologia: perché possiate verificare ogni punto di questa lista prima di fidarvi della nostra proposta come di qualsiasi altra.
La GEO come disciplina nasce da un filone di ricerca accademico, in particolare dal paper "Generative Engine Optimization" di Aggarwal et al. (2023), che per primo ha mostrato come i contenuti possano guadagnare fino al 40% di visibilità nelle risposte dei motori generativi. Noi ci siamo costruiti sopra il rigore statistico che mancava: quello che serve per prendere decisioni, non solo per farsi un'idea.
Se avete già un audit GEO in mano, portatecelo: lo verifichiamo insieme su questi sei punti in pochi minuti, senza impegno.