Farsi trovare da ChatGPT non è una questione di contenuti: è una questione di accesso. Prima di chiedersi cosa scrivere, conviene verificare che gli assistenti AI riescano a leggere il sito. Sono dieci minuti di controlli, e quasi sempre il problema non è dove lo cerchi.
Il cliente non ha smesso di cercare: ha smesso di scorrere
Il cambiamento non è che la gente cerca meno. È che una parte delle ricerche finisce con una risposta invece che con dieci link. Chi chiede a un assistente "chi mi può rifare il gestionale in provincia di Brescia" riceve due o tre nomi, non una pagina di risultati da valutare. Se il tuo non è tra quelli, non sei secondo: non esisti in quella conversazione.
Non è uno scenario da convegno. Secondo Eurostat, nel 2025 il 20,0% delle imprese europee con almeno dieci addetti ha usato tecnologie di intelligenza artificiale, contro il 13,5% dell'anno prima. Sono i tuoi clienti e i tuoi concorrenti che imparano a chiedere invece che a cercare.
E qui arriva la parte scomoda. Un sito può essere online, veloce e scritto bene, e restare comunque fuori da quelle risposte. Per un motivo che non ha niente a che vedere con quello che c'è scritto sopra.
Farsi trovare da ChatGPT comincia da una domanda tecnica
Gli assistenti non indovinano: leggono. E leggono con programmi dichiarati, che si presentano con un nome quando chiedono una pagina. OpenAI ne pubblica l'elenco. GPTBot raccoglie contenuti per addestrare i modelli. OAI-SearchBot serve a mostrare i siti nei risultati di ricerca dentro ChatGPT. ChatGPT-User apre una pagina quando un utente sta facendo una domanda in quel momento.
La domanda giusta non è "cosa scrivo", ma "quando quel programma bussa, la mia pagina risponde".E la risposta non si legge nel proprio file robots.txt aperto dal browser. Si legge chiedendo la pagina come la chiederebbe il crawler, dal suo punto di vista. Sono due cose diverse, e sul mio sito hanno dato due esiti diversi.
Il test dei dieci minuti, passo per passo
Serve solo un terminale: su Windows va bene il Prompt dei comandi, su Mac il Terminale. Sostituisci iltuosito.it con il tuo dominio e non cambiare altro. Le azioni si spuntano al click, così tieni il segno mentre esegui.
Chiedi la pagina fingendoti il crawler
Terminale · 3 minuti
- Incolla il blocco qui sotto una riga alla volta, dopo aver messo il tuo dominio.
- Guarda solo la prima riga di ogni risposta: è quella che contiene il codice.
- Segnati quali nomi ricevono un codice diverso da 200.
curl -I -A "GPTBot/1.4 (+https://openai.com/gptbot)" https://iltuosito.it/
curl -I -A "OAI-SearchBot/1.4 (+https://openai.com/searchbot)" https://iltuosito.it/
curl -I -A "ClaudeBot/1.0 ([email protected])" https://iltuosito.it/
curl -I -A "PerplexityBot/1.0 (+https://perplexity.ai/perplexitybot)" https://iltuosito.it/
curl -I -A "Mozilla/5.0 (compatible; Google-Extended)" https://iltuosito.it/
curl -I -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://iltuosito.it/Come sai che ha funzionato: sei risposte, tutte con 200 nella prima riga. Un 403 o un 429 vuol dire che quel crawler viene respinto, e nessun contenuto potrà rimediare.
Leggi il robots.txt che ricevono loro, non quello che hai scritto tu
Terminale · 2 minuti
- Chiedi il file con il nome di un crawler AI addosso.
- Cerca righe
Disallowrivolte a nomi come GPTBot, ClaudeBot, CCBot, Bytespider. - Se compare una regola che non ricordi di aver scritto, non l'hai scritta tu.
curl -A "GPTBot/1.4 (+https://openai.com/gptbot)" https://iltuosito.it/robots.txtCome sai che ha funzionato: quello che vedi a schermo coincide riga per riga con il file che hai sul tuo server. Se ci sono righe in più, arrivano da monte.
Controlla che il testo esista senza JavaScript
Terminale e blocco note · 2 minuti
- Salva la pagina così come arriva, senza browser di mezzo.
- Aprila con un editor di testo e cerca una frase che sul sito vedi a metà pagina.
- Ripeti su una pagina di servizio, non solo sulla home.
curl -s https://iltuosito.it/ -o pagina.htmlCome sai che ha funzionato: la frase che cercavi c'è dentro pagina.html. Se non c'è, quel testo lo costruisce il browser e i crawler AI non lo vedono.
Chiedi all'assistente cosa sa già della tua azienda
ChatGPT o Perplexity · 2 minuti
- Apri una conversazione nuova, senza cronologia che ti aiuti.
- Incolla il prompt sostituendo nome, città e mestiere.
- Leggi le fonti che cita: sono le pagine che l'assistente è riuscito a leggere.
Sto valutando dei fornitori. Cerca informazioni pubbliche su [NOME AZIENDA],
[CITTA], che si occupa di [MESTIERE].
Dimmi, citando per ogni punto la pagina da cui l'hai preso:
1. cosa fa esattamente e per quali clienti;
2. quali servizi offre e con quali condizioni dichiarate;
3. come si viene contattati;
4. cosa NON sei riuscito a trovare sul suo sito.
Se non trovi una fonte, scrivi "non trovato": non dedurre nulla.Come sai che ha funzionato: l'assistente cita URL del tuo sito. Se cita solo elenchi di terzi, portali di categoria o il tuo profilo social, il tuo sito non è tra le sue fonti.
Conta le pagine che Google ha visto e messo da parte
Google Search Console · 3 minuti
- Apri Indicizzazione, poi Pagine, e guarda la sezione delle pagine non indicizzate.
- Segnati il numero accanto a "Rilevata, attualmente non indicizzata".
- Controlla se compare la voce sul canonical scelto da Google.
Come sai che ha funzionato: hai due numeri scritti su un foglio. Non sono un giudizio sul sito, sono la misura di quante pagine oggi non partecipano a nessuna risposta.
I nomi da conoscere, e uno che non è un crawler
Trattarli come un blocco unico è l'errore che costa di più, perché fanno mestieri diversi. Questa è la mappa minima, presa dalle pagine ufficiali di chi li fa girare.
| Nome | Chi lo manda | A cosa serve |
|---|---|---|
| GPTBot | OpenAI | Addestramento dei modelli |
| OAI-SearchBot | OpenAI | Mostrare i siti nella ricerca di ChatGPT |
| ChatGPT-User | OpenAI | Aprire una pagina su richiesta dell'utente |
| ClaudeBot | Anthropic | Addestramento dei modelli |
| Claude-SearchBot | Anthropic | Qualità dei risultati di ricerca |
| PerplexityBot | Perplexity | Mostrare e linkare i siti nei risultati |
| Google-Extended | Token di controllo, non un crawler |
Due righe meritano un commento. Perplexity dichiara che PerplexityBot non raccoglie contenuti per addestrare i modelli: serve a mostrare e linkare i siti nei risultati. E Google-Extended non è un programma che bussa alla tua porta: Google scrive che non ha una stringa user-agent propria e che il token vale solo come comando dentro il robots.txt. Governa l'addestramento dei modelli Gemini, non le AI Overviews, e Google precisa che non incide sull'inclusione in Search.
Morale pratica: chi blocca "l'AI" con un interruttore solo sta chiudendo insieme la porta del magazzino e quella del negozio.
Tre modi per essere online e invisibili
Il primo l'ho trovato sul mio sito. Cloudflare ha una funzione dedicata al controllo dei crawler AI, e tra le sue impostazioni c'è un robots.txt gestito. La documentazione spiega che, se il file esiste già, Cloudflare antepone il proprio al tuo e ne restituisce uno solo. Il file che riceve un crawler AI può quindi contenere regole che tu non hai mai scritto. Su thedrobot.com era attiva, e l'ho disattivata a mano. Poi ho rifatto la verifica con i sei nomi: sei risposte su sei con codice 200. È così che ho saputo che era finita, non rileggendo il file.
Il secondo è il JavaScript. Nell'analisi pubblicata da Vercel nel dicembre 2024 sul traffico dei crawler AI, nessuno dei principali eseguiva JavaScript: i crawler di ChatGPT e Claude scaricavano i file, senza eseguirli. È un dato di oltre un anno fa e va letto come tale, ma la conseguenza si controlla in due minuti con il terzo passo della guida. Se il testo della tua pagina compare solo dopo l'esecuzione di uno script, per quei programmi la pagina è vuota.
Il terzo è più antipatico, perché non blocca nessuno. Google definisce lo stato "Rilevata, attualmente non indicizzata" come una pagina trovata ma non ancora sottoposta a scansione, rimandata per non sovraccaricare il sito. Sul mio sito 42 pagine stanno lì dentro. E la home risultava un duplicato perché mancava una riga sola, il canonical. Tre parole di HTML che decidono se la pagina più importante del sito conta come originale o come copia di se stessa.
Una pagina online, perfetta e mai indicizzata costa esattamente quanto è costata scriverla, e rende zero. Non è un problema di marketing: è magazzino fermo.
llms.txt: la risposta onesta è che oggi non serve
Qui mi aspetto di essere impopolare. Da qualche mese girano offerte per aggiungere un file llms.txt al sito, presentato come il requisito per farsi trovare da ChatGPT. È una proposta del settembre 2024, non uno standard adottato.
Google è esplicito nella sua guida ufficiale sull'ottimizzazione per le funzioni generative. Non servono nuovi file leggibili dalle macchine per comparire in Search, funzioni generative comprese, perché Search stesso non li usa. E cita proprio la creazione di file come llms.txt tra le tattiche da evitare. OpenAI e Anthropic, nelle loro pagine sui crawler, non dichiarano nulla al riguardo: tacciono, il che non è un sì.
Sul mio sito un llms.txt c'è, perché costa dieci minuti e non fa danno. Ma è l'ultimo dei controlli per importanza, non il primo, e chi te lo vende come la soluzione ti sta vendendo un file. La cosa che cambia il risultato resta la stessa: che i crawler arrivino alla pagina, e che nella pagina ci sia del testo.
Cosa fare lunedì mattina
Un'azione sola, non tre. Apri il terminale e lancia le sei righe del primo passo sul tuo dominio. Ci metti tre minuti e alla fine hai un numero: quanti dei sei crawler ricevono la tua pagina. Se sono sei su sei, hai eliminato la causa più comune e il problema è altrove. Se sono meno, hai appena trovato la cosa che ti stava togliendo dalle risposte.
Il resto viene dopo. Le pagine che spiegano cosa fai, come quelle per provincia della consulenza AI, esistono per essere lette da qualcuno. Vale la pena assicurarsi che quel qualcuno riesca a entrare. Poi si decide quali automazioni o quali interventi sul software su misura meritano di essere trovati per primi.
Domande che mi fanno sempre
Devo rifare il sito per farmi trovare dagli assistenti AI?
Quasi mai. Nella maggior parte dei casi il sito è già leggibile e il problema sta in tre punti fuori dal sito: il livello di rete che blocca i crawler AI, il contenuto che compare solo dopo l'esecuzione del JavaScript e le pagine che Google ha rilevato senza mai indicizzarle. Sono tre cose che si sistemano senza toccare la grafica.
Bloccare i crawler AI protegge i miei contenuti?
Protegge i contenuti dall'addestramento dei modelli, ma nello stesso gesto ti toglie dalle risposte. Sono crawler diversi con scopi diversi: GPTBot serve all'addestramento, OAI-SearchBot serve a mostrare i siti nella ricerca di ChatGPT. Bloccarli insieme, come fa un'impostazione unica, chiude anche la porta da cui arriverebbero i lettori.
Se blocco Google-Extended sparisco dalle AI Overviews?
No, e questo confonde molti. Google-Extended governa l'addestramento dei modelli Gemini e il grounding nelle app Gemini, e Google precisa che non incide sull'inclusione in Search né funge da segnale di posizionamento. Le AI Overviews sono una funzione di Google Search, governata dalle direttive robots.txt rivolte a Googlebot.
Quanto tempo serve per vedere un risultato?
Sbloccare l'accesso è questione di minuti, ma la ricomparsa dipende da quando i crawler ripassano e da quando le pagine vengono indicizzate: si ragiona in settimane, non in giorni. Per questo il controllo conviene farlo adesso, e non quando qualcuno ti dirà che i concorrenti compaiono e tu no.
Serve un llms.txt sul mio sito?
Non è un requisito. Google scrive nella sua guida ufficiale che non servono file leggibili dalle macchine per comparire in Search, funzioni generative comprese, perché Search stesso non li usa. OpenAI e Anthropic non dichiarano nulla in merito. Scriverlo costa poco e non fa danno, ma non è la cosa che cambia il risultato.
