Meta tag Robots cosa sono? A cosa servono? HTML

Differentemente da altri, il meta tag robots non ha lo scopo di fornire informazioni inerenti i contenuti della pagina web, indica ai robot degli spider dei motori di ricerca come devono comportarsi quando leggono i contenuti della pagina web.

Mediante questo meta tag possiamo impartire allo spider due direttive:

1. Per chiedere allo spider di indicizzare i contenuti della pagina si usa la direttiva index.

<meta name=”robots” content=”index”>

Se, invece, non si desidera che i contenuti della pagina vengano archiviati si usa la direttiva noindex.

E’ possibile imporre allo spider di seguire o non seguire tutti i link presenti nella pagina, al fine di individuare altre pagine del sito web.

2. Per chiedere allo spider di seguire tutti i link contenuti nella pagina si usa la direttiva follow.

<meta name=”robots” content=”follow”> 

Al contrario, per impedire che lo spider segua i link contenuti nella pagina si usa la direttiva nofollow.

I due tipi di direttive possono essere combinate a piacere e incluse nel contenuto del tagrobots separandole con una virgola.

Vediamo un esempio:

<meta name=”robots” content=”index, follow”>

L’esempio chiede allo spider di non includere la pagina negli archivi del motore di ricerca. Tuttavia, si invita lo spider a seguire i link presenti nella pagina.

Le due direttive possono essere combinate tra loro a discrezione del webmaster e compatibilmente con le sue esigenze. È consigliato non far archiviare pagine dai contenuti temporanei e soggette a prossima cancellazione, oppure si può chiedere allo spider di non seguire i link di alcune pagine private del sito, non dedicate al pubblico lettore.

Una raccomandazione importante da fare circa i contenuti del meta tag robots è quella di non indicare direttive in conflitto tra di loro, ad esempio INDEX e NOINDEX, e di non ripetere le direttive.

Esistono due ulteriori direttive:

1. all che accende tutte e due le direttive e che quindi è sinonimo di index, follow.
2. none che disattiva tutte e due le direttive e che è dunque sinonimo di noindex, nofollow.

Alcune importanti precisazioni finali:

In mancanza del meta tag robots, gli spider si comportano come se avessero trovato index, follow. La maggior parte dei motori di ricerca riconoscono e rispettano il meta tag robots, ma non tutti.

Il meta tag robots di cui abbiamo scritto è un utile strumento per controllare i comportamenti degli spider, ma non è l’unico. Nel prossimo capitolo discuteremo di un altro mezzo: il file robot.txt