crawler

Crawler

Con il termine crawler in informatica si identifica un software che ha la funzione di scansionare dati contenuti in risorse indicizzate nel world wild web. Oltre ad essere conosciuto con il termine crawler, questo software è spesso chiamato spider, robots o bot. Il termine crawler ha iniziato a prendere piede nel linguaggio comune grazie a strategie di web marketing come la seo, nella quale il crawler dei motori di ricerca, i più conosciuti Googlebot e Bingbot, ha la funzione di scansionare le pagine web contenute nei domini internet indicizzati nelle serp. Una delle operatività di un consulente seo, è l’ottimizzazione del crawl budget.

La funzione del crawler è dunque quella di scansionare per acquisire dati utili da inserire successivamente a indici e catalogarli.

Nei siti internet è possibile inibire o meno la scansione da parte dei crawler dei motori di ricerca, ma anche di altri servizi e tool, di parti del sito web o di tutto il dominio. Direttive che possono essere indicate nel file robots.txt, con le diciture allow e disallow.

Condividi

Condividi su facebook
Condividi su linkedin
Condividi su twitter
Condividi su email

Iscriviti alla newsletter

Rimani aggiornato

Leggi altri articoli

DMCA.com Protection Status