\t\t\tUn file robots.txt \u00e8 semplicemente un file di testo inserito all’interno della root del vostro sito web che istruisce i crawlerUn web crawler, chiamato anche spider o robot, \u00e8 un software che naviga sistematicamente nel World Wide Web, tipicamente ai fini dell’indicizzazione del web. I… dei motori di ricerca su quali pagine di un sito web deve crawlare e quali ignorare. Queste istruzioni di crawl sono definite “disallowing” o “allowing” del comportamento di uno specifico (o di tutti) software di web crawling.<\/p>\n
Come funziona Robots.txt?<\/p>\n
Il file robots fa parte del Robots Exclusion Protocol (REP), un conglomerato di standard che regolano il modo in cui i robotIn informatica, un robot (o semplicemente “bot”) \u00e8 un insieme di comandi o istruzioni codificate che indicano ad un dispositivo meccanico e ad un sistema… eseguono il crawl del web, l’accesso e l’indicizzazioneL’indicizzazione \u00e8 la fase in cui il motore di ricerca raccoglie, analizza ed archivia i dati per facilitare la rapida e accurata ricerca di informazioni… dei contenuti, e come presentano tali contenuti agli utenti.<\/p>\n
Il REP include anche indicazioni come i meta robot, cos\u00ec come pagine, sottodirectory, o istruzioni a livello di sito web per come i motori di ricerca dovrebbero trattare i link (come “nofollow” o “follow”).<\/p>\n
Esempio Robots.txt:<\/p>\n
Di seguito sono riportati alcuni esempi di robots.txt in azione per un sito www.example.com.<\/p>\n
L’URLURL sta per Uniform Resource Locator. Chiamato colloquialmente indirizzo web, \u00e8 un riferimento a una risorsa web come un sito, una pagina o un file… del file robots deve essere: www.example.com\/robots.txt<\/p>\n
Blocco di tutti i web crawler da tutti i contenuti<\/p>\n
Questa istruzione dice a tutti i web crawler di non eseguire il crawling di alcuna pagina su www.example.com, compresa la homepage.\u00a0<\/p>\n
User-agent: *Disallow: \/<\/p>\n
Permettere a tutti i web crawler di accedere a tutti i contenuti<\/p>\n
La regola seguente dice ai web crawler di cercare tutte le pagine del sito www.example.com, compresa la homepage.<\/p>\n
User-agent: * Allow:<\/p>\n
Bloccare un web crawler specifico da una cartella specifica<\/p>\n
User-agent: Googlebot\u00a0Disallow: \/example-subfolder\/\u00a0<\/p>\n
Questa sintassi indica solo al crawler di Google di eseguire il crawler di qualsiasi pagina contenente la stringa URL www.example.com\/example-subfolder\/.<\/p>\n
Bloccare un determinato web crawler da una specifica pagina web<\/p>\n
User-agent: Bingbot\u00a0Disallow: \/example-subfolder\/blocked-page.html\u00a0<\/p>\n
Questa sintassi indica solo il crawler di Bing per evitare il crawling della pagina esatta all’indirizzo www.example.com\/example-subfolder\/blocked-page.html.<\/p>\n
Come funziona il file robots.txt<\/p>\n
I motori di ricerca hanno due obiettivi principali:<\/p>\n
Eseguire il crawler del web per scoprire i contenutiIndicizzare quel contenuto in modo che possa essere trovato da chi cerca informazioni.In generale, per cercare siti web, i motori di ricerca seguono i link per passare da un sito web all’altro, navigando attraverso miliardi di link e siti. Questo comportamento di crawling \u00e8 anche conosciuto con il nome di “spidering”.<\/p>\n
Una volta in un sito web e prima di effettuare lo spidering, i crawler cercano un file robots. Se ne esiste uno, lo leggono ancor prima di proseguire nella “scansione” dell’intera pagina.<\/p>\n
Se il file robots non contiene alcuna regola di disallow o il sito web non ha un file robots, i crawler procedono alla ricerca di altre informazioni sul sito web.<\/p>\n
Nozioni veloci da sapere sul file robots.txt: <\/p>\n
Per essere trovato, un file robots deve essere inserito nella directory di primo livello di un sito web detta anche root.Il file \/robots.txt \u00e8 disponibile al pubblico. Basta aggiungere \/robots.txt alla fine di qualsiasi dominio principale per vedere le direttive di quel sito web (se quel sito ha un file robots!). Questo significa che chiunque pu\u00f2 vedere quali pagine hai impostato per essere o non essere scansionato. Quindi, non usatele per nascondere le informazioni sensibili dell’utente.Alcuni robot potrebbero decidere di ignorare il vostro file robots. Questo \u00e8 particolarmente comune con i crawler malevoli, come gli scraper di indirizzi e-mail o i robot malware.Ogni sottodominio su un dominio principale utilizza file robots separati. Ci\u00f2 significa che sia example.com che blogUn blog (abbreviazione di “weblog”) \u00e8 un “giornale online”, o un sito web informativo, che mostra le informazioni in ordine cronologico inverso, con gli ultimi….example.example.com dovrebbero avere i propri file robots.txt (su example.com\/robots.txt e blog.example.com\/robots.txt).Robots.txt \u00e8 case sensitive: il file deve essere chiamato “robots.txt” (non robots.TXT, Robots.txt, ecc.).Si consiglia di indicare la posizione di eventuali sitemap collegate a questo dominio nella parte inferiore del file robots.Sintassi tecnica robots.txt<\/p>\n
Moz definisce la sintassi di robots.txt come segue: La sintassi di Robots.txt pu\u00f2 essere pensata come il “linguaggio” dei file robots.txt.<\/p>\n
Ci sono 5 termini comuni che si possono incontrare in un file robots. Essi includono:<\/p>\n
User-agent: Il web crawler specifico a cui si forniscono le istruzioni per il crawler – di solito un motore di ricerca. La maggior parte degli interpreti pu\u00f2 essere trovata qui.Allow (valido solo per GooglebotGooglebot \u00e8 il nome del robot (o crawler) di Google. Un web crawler, chiamato anche spider o robot (o semplicemente “bot”) \u00e8 un software che…): Questa direttiva indica a Googlebot di accedere a una pagina o sottocartella anche se la sua pagina madre o sottocartella pu\u00f2 essere proibita.Disallow: La direttiva istruisce l’utente-agente a non fare il crawl di certo URL. Si noti che \u00e8 consentita una sola riga “Disallow:” per ogni URL.Sitemap: Usato per richiamare la posizione di qualsiasi sitemap XML collegata a questo URL. Suggerimento: questa direttiva \u00e8 supportata solo da Ask, Bing, Google e Yahoo.Crawl-delay: Si riferisce al numero di secondi che un crawler dovrebbe attendere prima di caricare e strisciare il contenuto della pagina. Suggerimento: Googlebot non riconosce questa regola. Tuttavia la velocit\u00e0 di scansione pu\u00f2 essere impostata nella Google Search Console.Da leggere: 40 motori di ricerca alternativi a Google<\/p>\n
Pattern-matching<\/p>\n
Quando si tratta di consentire o bloccare gli URL esatti, i file robots.txt possono diventare piuttosto complessi in quanto consentono l’uso di pattern-matching per coprire una serie di possibili opzioni di URL.<\/p>\n
Sia Bing che Google riconoscono due espressioni comuni che possono essere usate per rilevare pagine o sottocartelle che un SEOSearch Engine Optimization (ottimizzazione per i motori di ricerca): l’insieme di strategie e pratiche per posizionare siti o pagine web nei risultati organici dei motori… vuole essere escluso.<\/p>\n
Questi due caratteri sono il segno del dollaro ($) e l’asterisco (*). <\/p>\n
Il ($) corrisponde alla fine dell’URL e (*) \u00e8 un carattere jolly che rappresenta una qualsiasi sequenza di caratteri. <\/p>\n
Google fornisce nelle guida “Creare un file robots.txt” un’ampia lista di possibili sintassi e di esempi di sintassi che corrispondono ai modelli.<\/p>\n
Dove mettere i robot.txt?<\/p>\n
Il file robots.txt deve essere posizionato alla radice dell’host del sito a cui si applica.<\/p>\n
Ad esempio, per controllare il crawling su tutti gli URL sotto httpL’Hypertext Transfer Protocol (HTTP) \u00e8 il fondamento del World Wide Web, e viene utilizzato per caricare pagine web utilizzando link ipertestuali. L’HTTP \u00e8 un protocollo…:\/\/www.example.com\/, il file robots deve essere posizionato all’indirizzo http:\/\/www.example.com\/robots.txt.<\/p>\n
Non pu\u00f2 essere localizzato in una sottodirectory (per esempio all’indirizzo http:\/\/example.com\/pages\/robots.txt).<\/p>\n
Se non si \u00e8 sicuri di come accedere alla root del proprio sito, o si ha bisogno di un supporto operativo, si consiglia sempre di contattare il proprio fornitore di servizi di web hostingUn Web hosting (o hosting) \u00e8 un servizio che permette di pubblicare un sito web su Internet. Per pubblicare qualunque sito web online, \u00e8 necessario….<\/p>\n
Suggerimento professionale! Se non riesci ad accedere al tuo sito web root, usa un metodo alternativo come i meta tag.<\/p>\n
Perch\u00e9 robots.txt \u00e8 essenziale?<\/p>\n
Per bloccare le pagine non pubbliche<\/p>\n
S\u00ec, a volte si possono avere pagine del sito web che non si vuole indicizzare – per esempio, una pagina di login. Se avete tali pagine, \u00e8 possibile utilizzare il file robots.txt per bloccarle da crawler e bot dei motori di ricerca.<\/p>\n
Massimizzare il crawl budget<\/p>\n
Se hai difficolt\u00e0 a indicizzare tutte le tue pagine, potresti avere un problema di budgetUn budget \u00e8 una stima delle entrate e delle spese in un determinato periodo di tempo futuro, e viene solitamente compilato e rivalutato periodicamente. I…. Bloccando pagine insignificanti dal file robots, Googlebot pu\u00f2 spendere pi\u00f9 del crawl budgetIl Crawl Budget \u00e8 il numero di pagine che Googlebot cerca e indicizza su un sito web in un determinato lasso di tempo. Il Crawl… sulle pagine che essenzialmente contano.<\/p>\n
Prevenire l’indicizzazione delle risorse<\/p>\n
Mentre le meta directives possono funzionare bene quanto i robots.txt nell’impedire che le pagine vengano indicizzate, non funzionano bene per le risorse multimediali come immagini e i file PDF. \u00c8 qui che entra in gioco robots.txt.<\/p>\n
Puoi sempre controllare quante pagine web hai indicizzato nella Google Search Console. Se il numero \u00e8 esattamente quello che si vuole indicizzare, non c’\u00e8 bisogno di preoccuparsi. Ma se non \u00e8 cos\u00ec, allora c’\u00e8 bisogno di creare un file robots.txt per il tuo sito.<\/p>\n
Da leggere: Google Search Console: una guida pratica per chi inizia<\/p>\n
Le migliori pratiche SEO<\/p>\n
Assicurati di non bloccare alcun contenuto o sezione del tuo sito che vuoi far crawlare.Non utilizzare il file robots per evitare che i dati sensibili appaiano nei risultati della SERPSERP: acronimo di Search Engine Results Pages, letteralmente “pagina dei risultati di un motore di ricerca”. Le SERP sono pagine web servite agli utenti quando…. Questo perch\u00e9 altre pagine potrebbero collegarsi direttamente alla pagina contenente informazioni private, che potrebbero essere ancora indicizzate.Se vuoi davvero bloccare la tua pagina dai risultati della ricerca, utilizza un metodo diverso, come la noindex meta directive o la protezione con password.I link sulle pagine bloccate da robots.txt non saranno seguiti. Ci\u00f2 significa:<\/p>\n
A meno che non siano collegati anche da altre pagine accessibili dal motore di ricerca (come ad esempio le pagine non bloccate da robots.txt, meta-robot, ecc.), le risorse collegate non saranno sottoposte a crawled e potrebbero non essere indicizzate.Nessuna link equity\u00a0pu\u00f2 essere passata dalla pagina bloccata alla destinazione del link. Se hai pagine a cui vuoi che l’equity venga passata, utilizza un meccanismo di blocco diverso da quello di robots.txt.Alcuni motori di ricerca hanno pi\u00f9 crawler. Ad esempio, Google utilizza Googlebot-Image per la ricerca di immagini e Googlebot per la ricerca organica.La maggior parte dei crawler dello stesso motore di ricerca seguono le stesse regole, quindi non c’\u00e8 bisogno di definire regole per ciascuno dei crawler multipli di un motore di ricerca. <\/p>\n
Tuttavia, avere la possibilit\u00e0 di farlo permette di perfezionare il modo in cui il tuo sito web viene crawlato.<\/p>\n
Rendi il tuo file robots facile da trovare. Mentre \u00e8 possibile posizionarlo in qualsiasi directory principale del tuo sito web, si consiglia di metterlo a https:\/\/example.com\/robots.txt e scriverlo in minuscolo per aumentare le probabilit\u00e0. Il file robots \u00e8 case sensitive. Quindi assicurati di usare una “r” minuscola nel nome del file.Un motore di ricerca metter\u00e0 in cache i contenuti di robots.txt, ma di solito aggiorna i contenuti in cache almeno una volta al giorno. Se si modifica il file e si desidera aggiornarlo pi\u00f9 velocemente di quanto non sia, \u00e8 possibile inviare l’URL \/robots.txt a Google.Robots.txt vs. meta-robot vs. x-robot<\/p>\n
Qual \u00e8 la differenza tra questi tre tipi di robot directive?<\/p>\n
Semplicemente, robots.txt \u00e8 il file di testo vero e proprio, mentre meta e x-robot sono meta directive. Oltre a questo, questi tre directive servono per funzioni diverse.<\/p>\n
Robots.txt determina il comportamento di crawl del sito web o della direzione a livello di sito web. <\/p>\n
I meta e gli x-robot possono determinare il comportamento di indicizzazione a livello di singola pagina (o elemento di pagina).<\/p>\n
[ \u00a0via siteguru.com ]<\/p>\n