Visualizzazione post con etichetta robots. Mostra tutti i post
Visualizzazione post con etichetta robots. Mostra tutti i post

venerdì 28 novembre 2008

Scrivere un file robots.txt

Nel post precedente vi ho illustrato come utilizzare i MetaTag per indicizzare il vostro website in modo da essere riconosciuto dai maggiori motori di ricerca. Oggi, invece, vi voglio spiegare scrivere un file robots.txt, il file che indica agli spider come indicizzare il proprio sito web.

Quando un motore di ricerca vuole indicizzare il tuo sito web, cosa necessaria se non si vuole rimanere isolati dal resto del web, fanno uso di un sistema denominato "The Robots Exclusion Standard". I moderni motori di ricerca utilizzano agenti intelligenti, denominati spieder, per indicizzare tutte le pagine del web.

Quando uno spieder raggiunge il tuo sito, la prima cosa che ricerca è il file "robots.txt". Questo è uno standard internazionale, valido quindi per tutti i motori di ricerca seri e ben fatti. Il file robots.txt è utile ai motori di ricerca perchè li informa riguardo a quali pagine analizzare e indicizzare e quali invece tralasciare. Su un sito web può essere presente un solo file robots.txt e deve essere nella cartella principale, la document root. Se volete specificare parametri diversi da pagina a pagina, a seconda dei casi, è possibile utilizzare i Meta-tags, che però non saranno analizzati in questo tutorial.

La sintassi del file robots.txt è molto semplice: per prima cosa bisogna specificare a quale/i agent si riferiscono le informazioni in una data porzione del file robots. E' infatti possibile definire comportamenti diversi per ciascun agent, quindi per ciascuno spider. Tenete presente che il carattere "*" significa "tutti".
Per specificare l'agent si usa la sintassi "User agent: nomeSpider".

Subito dopo aver specificato l'agent è possibile definire quali pagine o directory lo spider deve tralasciare. Ciò si ottiene con la sintassi "Disallow: /nomedirectory", per impedire l'indicizzazione di un'intera directory, o "Disallow: /directory/nomefile.ext" per impedire l'indicizzazione di un solo file. Invece la sintassi "Disallow: ", senza specificare nè directory nè files, significa lo spider è libero di indicizzare tutte le pagine.

Quindi ad esempio un file robots.txt come il seguente significa che tutti gli spider sono liberi di indicizzare tutte le pagine del sito:

User-agent: *
Disallow:

Invece se scriviamo il robots.txt nel modo seguente impediamo a tutti gli spider di indicizzare qualunque pagina del sito, in quanto impediamo l'analisi di tutta la cartella principale del sito, e quindi anche di tutte le relative sottodirectories:

User-agent: *
Disallow: /

E' possibile impedire l'indicizzazione di tutto il sito solo ad uno spieder, ad esempio googlebot, mentre permetterla a tutti gli altri, in questo modo:

User-agent: *
Disallow:

User-agent: googlebot
Disallow: /

Se invece si vuole impedire l'indicizzazione di una sottodirectory si può usare questa sintassi:

User-agent: *
Disallow: /lamiadirectory

In questo modo tutti gli spider analizzeranno tutto il sito tranne le pagine contenute in "lamiadirectory". Con l'esempio seguente escludiamo invece un solo file della sottodirectory:

User-agent: *
Disallow: /lamiadirectory/ilmiofile.file

E' naturalmente possibile inserire nello stesso robots più dichiarazioni User-agent, seguite ciascuna dalle proprie dichiarazioni Disallow. Sono ovviamente ammessi più Disallow di seguito.
E' possibile anche inserire commenti nel file robots.txt anteponendo ad essi il carattere "#". Dopo tale carattere tutta la riga non viene considerata dagli spieder.

SI RINGRAZIA CODICEFACILE.IT

venerdì 21 novembre 2008

Indicizzazione del vostro Website

Oggi vi parlerò di come il vostro sito web può guadagnare posizioni nel motore di ricerca e, di conseguenza, di come possa essere trovato facilmente, sia dagli utenti che dagli spider.

Le informazioni racchiuse nel web sono sterminate; la reperibilità delle informazioni contenute nelle pagine del proprio sito diventa quindi una componente fondamentale del successo di un sito web. La reperibilità del proprio sito web è determinata in larga parte dalla posizione del sito stesso nei motori di ricerca. Quando gli spider dei motori di ricerca navigano il web per indicizzare le pagine disponibili in rete analizzano le varie pagine dall'intestazione ai contenuti interni. Gli strumenti a disposizione del webmaster per migliorare il posizionamento di un sito nei motori di ricerca sono molteplici, a partire dalle tecniche di elaborazione dei contenuti a quelle di costruzione e organizzazione della struttura stessa del sito. Uno dei sistemi più rilevanti è sicuramente il corretto uso dei meta tags. Per inciso, occorre però affermare che ormai i meta tag a cui faremo riferimento stanno divenendo un sistema obsoleto e hanno perso quasi del tutto la loro efficacia, in quanto i motori di ricerca moderni, a partire dal colosso Google, si basano su moltissimi altri parametri per stabilire il posizionamento di un sito, come ad esempio la popolarità, l'intero contenuto testuale, i links (pagerank).

I meta tags dedicati ai motori di ricerca sono essezialmente tre e vanno inseriti tra i tag della pagina web:

  • Description
  • Keywords
  • Robots

Il meta tag "description"
Il meta tag "description", come dice il nome stesso, è stato progettato per contenere una descrizione del contenuto della pagina.

La descrizione di norma non deve superare le due righe (150 caratteri circa) e deve essere attentamente studiata. Spesso tale descrizione viene presentata dai motori di ricerca agli utenti come descrizione della pagina web. Bisogna comunque sempre tenere presente che la frase principale della pagina web non deve essere quella nel meta tag "description" ma quella del titolo della pagina tra i tag title.

In generale il meta tag "description" deve contenere un sunto degli argomenti trattati nella pagina, di cosa si parla, a chi si rivolge, ecc... E' poi buona cosa enfatizzare quegli argomenti che si ritiene siano argomenti chiave per attirare il lettore. Nello scrivere il tag "description" bisogna sempre ricordare di non cadere nella banalità, bisogna fornire il massimo numero di informazioni nel minor spazio.
E' necessario evitare assolutamente di scrivere una semplice lista di parole chiave, in quanto l'utente si aspetta un linguaggio discorsivo e scritto da un umano, piuttosto che da un automa. Inoltre ci sono altri modi creati apposta per le parole chiavi.
E' però necessario anche evitare gli slogan. La descrizione del sito non deve assolutamente essere una sorta di frase pubblicitaria, in quanto queste frasi fanno cadere il sito nella banalità e sicuramente l'utente giudicherebbe la pagina web poco professionale.

Non dimentichiamo che i motori di ricerca moderni non si basano solo sul tag "description" per il posizionamento della pagina web. Quindi è controproducente "barare" inserendo descrizioni non corrispondenti in tutto e per tutto ai contenuti, in quanto i moderni algoritmi riescono facilmente a rilevare queste discrepanze e non esitano a penalizzare la pagina web.

Il formato del meta tag "description" è il seguente:

Facciamo alcuni esempi di tag "description". Immaginiamo di dover creare tale tag per una pagina web di una agenzia di viaggi. Un esempio errato è sicuramente una descrizione del tipo "viaggi e tours in treno, pullman, aereo a milano, roma, torino, venezia in hotel". Questo è un esempio errato poichè è un semplice elenco di parole chiave, che benchè riflettano i contenuti, non sono ciò che l'utente si aspetta dalla pagina web. Un altro esempio errato è "Entra subito! Le offerte di viaggio più economiche sono qui! Scegli la destinazione e il mezzo, prezzi sbalorditivi!". Questo esempio è chiaramente uno slogan pubblicitario con effetto controproducente: non descrive la pagina web, non offre all'utente ciò che si aspetta e appare poco professionale. Una buona descrizione è invece "L'agenzia organizza viaggi e tours in Italia e in Europa in aereo, treno o pullman per giovani con sistemazione in hotel, motel, ostelli e bungalov".

Il meta tag "keywords"
Nel meta tag "keywords" possiamo inserire una lista di parole chiave che identificano il contenuto della pagina web. Determinarle non è cosa semplice. Il consiglio è quello di provare a immaginare ciò che un utente potrebbe cercare in un motore di ricerca se cerca proprio ciò di cui la pagina web parla, o contenuti simili.
Bisogna poi ricordare che spesso chi cerca in un motore di ricerca non specifica bene la ricerca. Ad esempio per cercare un'agenzia di viaggi che organizzi viaggi in aereo potrebbe scrivere semplicemente "aereo". Ovviamente la ricerca è troppo vasta, il motore di ricerca non sa ad esempio se l'utente stia cercando l'orario di un volo, piuttosto che delle informazioni tecniche su un veivolo o su un aeroporto, piuttosto che delle notizie sulle ultime quotazioni in borsa delle compagnie aeree.
E' buona cosa quindi utilizzare anche gruppi di due, massimo tre parole, per circostanziare meglio un termine. Ad esempio nel sito propria agenzia di viaggi si potrebbe inserire come parola chiave "viaggi aereo" invece di "aereo". In tal modo un motore di ricerca riesce meglio a districarsi tra i risultati.
E' inoltre consigliabile sprecare qualche parola chiave per definire l'ambito geografico a cui il sito si riferisce. Pensate ad un sito di una agenzia attiva solo nel Nord Italia. In questo caso sarebbe utile inserire una chiave "nord italia".

Proviamo quindi a stilare un elenco di keywords nel caso dell'agenzia di viaggi: potremmo inserire "viaggi, tour, visite guidate, hotel, alberghi, ostelli, bungalov, italia, europa, milano, roma, torino, venezia, firenze". Come gruppi di parole potremo invece inserire "viaggi organizzati, viaggi per studenti, viaggi aereo, viaggi, pullman, viaggi treno". Come si può notare le varie keywords vanno separate da virgole.

Il formato del meta tag "keywords" è:

Per quanto riguarda la quantità di keywords di regola non bisogna inserirne più di 25-30, ma in media bisogna rimanere su 15 keywords. E' importante che tutte le keywords usate siano presenti nei contenuti testuali della pagina web stessa, in quanto altrimenti i moderni algoritmi dei motori di ricerca potrebbero penalizzare la pagina web, anche se di solito adottano un certo livello di tolleranza per le keywords in eccesso.

Il meta tag "robots"
Il meta tag robots fornisce agli spider dei motori di ricerca le informazioni sul comportamento che devono tenere nel leggere la pagina. In particolare si può indicare allo spider di indicizzare o meno la pagina e di seguire o meno i link al suo interno.
Molto semplicemente si usa "index" per permettere l'indicizzazione della pagina, "noindex" per impedirla. Si usa poi "follow" per permettere allo spider di seguire tutti i link nella pagina web, "nofollow" per impedire ciò. L'uso è semplice e si aggiunge alle informazioni contenute nel file robots.txt, che sarà analizzato in un altro post.

Con il codice precedente si permette allo spider di indicizzare la pagina e seguire i link al suo interno. Sono possibili tutte le combinazioni di "index"/"noindex" e "follow"/"nofollow". Si possono usare anche "all", che è sinonimo di "index"/"follow", e "none", che è sinonimo di "noindex"/"nofollow".

si ringrazia codicefacile.it

Articoli correlati