Crawl budget: come ottimizzare il crawl budget per la seo

di Geremia Lisolo

Prima di capire come ottimizzare il crawl budget per la seo, è bene sapere cos’è il crawl budget.

Crawl Budget significato

Con il termine crawl budget si intende letteralmente il numero di volte che il bot di Google scansiona in un determinato lasso di tempo, le pagine web comprese in un dominio. Crawl budget è un termine coniato dal motore di ricerca Google, ed è infatti tale società che decide quante pagine di un sito web scansionare e con quale frequenza scansionarle in un preciso spazio temporale.

Perchè Google assegna un budget di indicizzazione?

Google ha miliardi di pagine da scansionare ogni giorno alla ricerca di nuove pagine note da inserire nel link graph, e nuovi contenuti da utilizzare per milgiorare le classifiche da restituire ai propri utenti. Di conseguenza il costo economico che deve sostenere Google per scansionare il web è sicuramente elevato. Ecco perchè ha per forza bisogno di assegnare un budget ad ogni sito web, in modo tale da non sprecare risorse e banda nel tentativo di scansionare pagine inutili.

Google nell’assegnare il crawl budget, oltre quanto appena detto deve tener conto anche di non danneggiare il sito web compromettendo la navigabilità dello stesso da parte dell’utente. E di valutare l’esigenza reale di scansione di un sito web. Questi ultimi due concetti prendono il nome di Crawl Rate Limit e Crawl Demand che si possono approfondire qui.

Il crawl budget come funziona?

Il budget di crawling che Google assegna varia in base alla frequenza di aggiornamento solito dei contenuti nuovi del sito web. Sicuramente un sito di news avrà un crawl budget superiore a un’ecommerce, e un’ecommerce sicuramente superiore a un sito aziendale.

Statistiche di scansione di Googlebot

In sintesi Googlebot ogni volta che riscansiona il sito web e trova pagine non note con nuovi contenuti, oppure contenuti aggiornati in pagine web note, ridurrà il tempo che impiega ad effettuare un passaggio successivo. Viceversa, se durante la scansione delle pagine giornaliere, googlebot non trova contenuti nuovi da indicizzare, allungherà il tempo con cui ripasserà successivamente.

https://www.evemilano.com/aumentare-scansioni-googlebot/

Il crawl budget è dunque un valore che Google decide di assegnare ad un sito web, per decidere quante pagine sottoporre a scansione giornalmente, quante volte durante la giornata, quanti Kilobyte scaricare giornalmente, e lo rivaluta costantemente osservando tra le altre cose, quanto tempo googlebot impiega per il download di una pagina (in millisecondi).

ottimizzare crawl budget

L’andamento del crawl budget può essere monitorato attraverso la vecchia versione di Search Console, dove viene restituita una pagina nella quale monitorare:

  • Quante pagine vengono scansionate in un giorno
  • Quanti kilobite vengono scansionati e scaricati ogni giorno
  • In che tempo googlebot riesce a farlo

Spesso c’è confusione nella lettura dei tre parametri che si provano in Search Console di Google. In sintesi è corretto affermare che se la quantità delle pagine scansionate nel grafico delle statistiche di scansione (il 1°), è superiore al numero di pagine effettive ed indicizzabili presenti nel sito. Il crawl budget assegnato da Google è buono. Gli altri due grafici, quello dei kilobyte e del tempo trascorso, servono a monitorare la facilità con la quale googlebot riesce ad effettuare le scansioni. Potremmo dire ad esempio che, dividendo il valore di Kilobyte per il numero di pagine scansionate giornalmente si ottiene il “peso medio” di ogni file scaricato. Ovviamente più è basso il valore medio più sarà semplice e veloce per Google ottenere questi file. Discorso simile per il tempo trascorso da googlebot a scansionare e scaricare i file, più veloce è l’operazione e più agevole è il compito del crawler di effettuare l’operazione. Il valore ottimale sarebbe scendere sotto i 500 millisecondi, ma gia rimanere sotto il secondo è un’ottima cosa.

Come aumentare il crawl budget?

Se hai letto tutte le spiegazioni del funzionamento del crawl budget, è ovvio che gia ti sarai fatto un’idea di ciò che può essere un’attività seo da svolgere per aumentare il crawl budget del sito. Ovvero potresti:

  1. Aggiornare i contenuti delle singole pagine ampliandole nei topic principali
  2. Aumentare la frequenza di aggiornamento dei contenuti al punto 1
  3. Velocizzare il sito
  4. Migliorare la struttura del sito
  5. Eliminare e porre in noindex le pagine duplicate
  6. Limitare il numero di parametri url (order by prezzo, nome etc)
  7. Assegnare i prodotti o articoli a 1 sola categoria
  8. Migliorare il robots.txt evitando scansioni di sezioni inutili
  9. Ricevere link in ingresso
  10. Snellire la struttura dei link interni

In sintesi, il sito web deve essere oggetto di un’ottimizzazione per i motori di ricerca capace di snellire la struttura, i percorsi utenti, ricatalogare i contenuti, riaggiornarli con qualità e frequenza così come consigliato nell’articolo dedicato alla freschezza dei contenuti.

Non puntare a strafare, ovvero, se la frequenza con la quale puoi aggiornare i contenuti è di 2 volte a settimana, non provare a farlo molte più volte a settimana in quanto potresti esserne capace per un breve periodo e poi non farlo più. Questo, così come ho scritto nei paragrafi precedenti, spinge successivamente googlebot ad allungare i temi che intercorrono tra una scansione ed un’altra.

17 Condivisioni