Non sono in molti a parlare in Italia di crawl budget e non c\u2019\u00e8 da meravigliarsi, dato che si tratta di uno dei concetti SEO pi\u00f9 tecnici e frequentemente fraintesi.
\nIn parole semplici, il crawler bot di Google si occupa di scansionare le pagine web, aggiungendole successivamente all\u2019indice. Durante l\u2019operazione, il software cerca altri links da seguire in autonomia oppure seguendo gli URL di una sitemap.xml per analizzare sempre nuovi contenuti.
\nPer essere identificato durante l\u2019accesso, in genere i bot usano uno user agent, ossia una stringa di riconoscimento. Consultando il file di log di Apache sul nostro server, possiamo notare visite da Googlebot, ma esistono anche BingBot di Microsoft, Baiduspider per il mercato cinese e YandexBot per la Russia.
\nSvolgere il compito di scansione di siti da 100, 1000 o 10000 pagine pu\u00f2 essere particolarmente oneroso e soprattutto dispendioso in termini di risorse hardware, ma anche di tempo impiegato, visto che esistono miliardi di siti che vanno periodicamente controllati per monitorare eventuali nuovi aggiornamenti o modifiche ai contenuti.
\nDa qui nasce l\u2019esigenza di limitare il tempo e le risorse dedicate ad ogni sito in base ad una serie di fattori che vanno a premiare alcuni siti con una scansione pi\u00f9 frequente, mentre altri saranno controllati solo di rado.<\/p>\n
Cosa \u00e8 il crawl budget di Google?
\nPer dare una definizione pratica, possiamo identificare il crawl budget con il numero di volte che Googlebot scansiona un sito in un dato momento. Ad esempio, se Googlebot visitasse il tuo sito 40 volte ogni due giorni, avresti un crawl budget di 600 per mese.
\nPer un sito aziendale di una decina di pagine, probabilmente non \u00e8 una questione importante, ma diventa cruciale per un blog che pubblica 5 nuovi contenuti giornalieri o per un e-commerce con migliaia di prodotti.
\nCome monitorare il crawl budget?
\nPer farsi un\u2019idea concreta della situazione del proprio sito ci si deve necessariamente affidare ad un sistema di monitoraggio degli accessi di Googlebot ed esistono varie soluzioni.
\nIl modo pi\u00f9 semplice e gratuito \u00e8 l\u2019uso del proprio account Search Console nell\u2019area Crawl > Crawl Stats, dove \u00e8 riportato un grafico con l\u2019attivit\u00e0 di Google negli ultimi 90 giorni, mostrando la media, i massimi e i minimi relativamente al numero di pagine scansionate ogni giorno.<\/p>\n
Una soluzione pi\u00f9 avanzata \u00e8 l\u2019uso di software basati su ElasticSearch per l\u2019analisi dei file di log del web server, riuscendo ad avere dati pi\u00f9 specifici sugli accessi di Googlebot in relazione a quali pagine sono visitate pi\u00f9 spesso e quali invece vengono controllate meno frequentemente.
\nIn questo modo potremmo scoprire che un determinato post riceve 2 visite al giorno, mentre un altro ne ha una ogni 20 giorni. Ne consegue che potremmo considerare di migliorare il secondo articolo aggiungendo del contenuto o semplicemente modificando la struttura di internal linking per renderlo pi\u00f9 visibile ai crawler e passare pi\u00f9 link juice.
\nIn questo esempio si potrebbe anche decidere di spingere il primo articolo che cos\u00ec tanto \u201cpiace\u201d a Google, magari aggiungendo altro contenuto di qualit\u00e0 oppure facendo una campagna di link building specifica.
\nCome ottimizzare il crawl budget?
\nFare un\u2019ottimizzazione specifica per il crawl budget ha molte somiglianze con l\u2019attivit\u00e0 SEO classica, come ad esempio il fatto che la link building verso determinati articoli ne migliora l\u2019importanza e ne favorisce il controllo pi\u00f9 frequente da parte di Googlebot.
\nSi possono poi effettuare interventi specifici molto complessi, ma anche semplici accorgimenti per risolvere dimenticanze o altri errori nella progettazione del sito.
\nFai attenzione ai robots
\nLe pagine di scarso valore e le aree private non andrebbero indicizzate perch\u00e9 la scansione di questi contenuti sprecherebbe crawl budget, dato che non procurano traffico organico.
\nConsiderando che \u00e8 ormai stato chiarito da Google che il file robots.txt non evita la comparsa del risultato nelle SERP, non basta indicare in questo file la lista delle sezioni del sito da non indicizzare.
\nBisogna invece accertarsi quali siano esattamente tutti gli URL e possiamo deindicizzarli usando il noindex meta tag.
\n<meta name=\u201drobots\u201d content=\u201dnoindex\u201d>
\nOvviamente quando usi il noindex meta tag, non dovresti anche bloccare la medesima pagina dal file robots.txt con il \u2018Disallow\u2019, perch\u00e9 altrimenti Google non potrebbe visitarla per sapere che non \u00e8 da indicizzare.
\nControlla i links rotti
\nSoprattutto in siti con decine di migliaia di pagine, ma anche per piccoli blog da alcune decine, \u00e8 fondamentale avere una struttura di internal linking ben funzionante e soprattutto testata, dato che un link rotto, magari ad una categoria, comporta la mancata scansione e successiva indicizzazione di decine o centinaia di pagine ricche di contenuti di qualit\u00e0.
\nTendenzialmente un link rotto porta ad una pagina con codice HTTP di risposta pari a 404 \u2018Not Found\u2019, ma soprattutto in WordPress potrebbe esserci invece un codice 503 \u2018Service Unavailable\u2019 dovuto ad una malconfigurazione di un determinato plugin in una specifica pagina.
\nPer monitorare i links rotti puoi utilizzare un crawler come Screaming Frog per scansionare periodicamente l\u2019intero sito oppure esistono altre soluzioni di scansione remota offerti dai principali SEO tools a pagamento.
\nNel caso di WordPress esistono appositi plugins come WP Broken Link Status Checker per svolgere questa funzione, ma d\u2019altra parte ne sconsiglio l\u2019utilizzo poich\u00e9 sono veramente pesanti per le performance dell\u2019hosting e una scansione troppo frequente potrebbe far andare down l\u2019intero sito.<\/p>\n
Al contrario, le soluzioni professionali, evidenziate sopra, consentono di implementare una rotazione di proxies in caso di firewall stringenti e il delay tra una richiesta e l\u2019altra in modo da comportare un carico nettamente pi\u00f9 leggero e risultati molto pi\u00f9 precisi.
\nUtilizza una sitemap pulita
\nCapita spesso di vedere sitemap pubbliche di siti che includono URL di archivi autori o pagine che non sono da indicizzare, risultando in un inutile spreco di crawl budget.
\nAl contrario, \u00e8 bene verificare che la sitemap generata dal proprio tool preferito sia corretta e includa solo ed esclusivamente gli URL che devono essere indicizzati, altrimenti \u00e8 bene rimuoverli.Per fare un semplice esempio, usando WordPress con il plugin gratuito Yoast SEO \u00e8 possibile specificare per ciascun post se deve essere incluso o meno nella sitemap.
\nAttenzione ai tecnicismi
\nNegli e-commerce, quando c\u2019\u00e8 la possibilit\u00e0 di filtrare i risultati, spesso vengono usati URL parametrizzati contenenti il colore, il peso, la fascia di prezzo o altre caratteristiche della categoria. In questo modo si generano centinaia o migliaia di pagine diverse che nella maggior parte sono sostanzialmente simili e in molti casi persino identiche.
\nUn altro caso simile sono i links di affiliazione che restituiscono la stessa pagina, ma con un valore diverso nell\u2019URL per identificare l\u2019affiliato.
\nLavorando con gli URL parametrizzati, \u00e8 essenziale definire se alcune variabili non sono rilevanti ai fini della SEO e quindi da escludere dalla scansione, risultando in un notevole risparmio di crawl budget, oltre a vari vantaggi in ottica SEO evitando contenuti duplicati.
\nPer fare questa operazione ci viene in aiuto un apposito pannello nella Search Console raggiungibile da Crawl > URL parameters con la possibilit\u00e0 di specificare i parametri usati nel sito, indicando a Google se cambiano il contenuto oppure no.<\/p>\n
Tra i vari tecnicismi che influenzano il crawl budget c\u2019\u00e8 sicuramente l\u2019uso sconsiderato di redirect 301, magari inserendo cicli di 2 o persino 3 reindirizzamenti di fila. In questi casi, \u00e8 sempre bene ridurre al minimo la catena che si va a creare, perch\u00e9 comporta uno spreco di tempo e risorse per raggiungere i contenuti corretti.
\nPer concludere, se da un lato di crawl budget se ne parla poco, al giorno d\u2019oggi e soprattutto per siti di grandi dimensioni \u00e8 diventato un punto di vitale importanza tanto che pu\u00f2 determinare il successo del posizionamento del sito su Google al pari delle classiche attivit\u00e0 SEO Off-Page e On-Page.
\nP.S. Vuoi davvero imparare il web marketing?
\nIl web marketing \u00e8 in continua evoluzione, resta sempre aggiornato! Offriamo video corsi di web marketing in abbonamento, per garantirti tutta la formazione di cui hai bisogno in un unico spazio, senza dover perdere giornate intere alla ricerca di fonti, corsi, novit\u00e0 e senza spendere un patrimonio in formazione. Avrai tutto ci\u00f2 che ti serve per diventare un vero specialista.
\nVuoi provare gratis? Accedi subito a centinaia di lezioni gratuite.<\/p>\n