META ROBOTS (NOINDEX, NOFOLLOW, ALL, NONE)

meta-robots.jpg

Wenn man keinen Zugriff auf robot.txt hat, um Zigriff auf Webseite von Suchmaschinen Bots zu begrenzen, benutzt man sogenannte META ROBOTS Tags im Header vom HTML-Dokument.

NOINDEX - verbietet die Aufnahme des Dokumentes in Index der Suchmaschienen;

NOFOLLOW - die Seite kann in Index augenommen werden, aber Suchmascienen Bot muss den Links  auf der Seite nicht folgen.

INDEX - erlaubt die Aufnahme des Dokumentes in Index der Suchmaschienen;

FOLLOW - erlaubt dem Bot den Links zu folgen;

ALL –   INDEX, FOLLOW:

<META name="ROBOTS" content="index, follow">

oder

<META name="ROBOTS" content="all">

NONE –  NOINDEX, NOFOLLOW.

<META name="ROBOTS" content="noindex, nofollow">

oder

<META name="ROBOTS" content="none">

Bei widersprüchlichen Eingaben:

<META name="ROBOTS" content="index, nofollow, follow">

Für Bot sieht es so aus:

<META name="ROBOTS" content="index, follow">