Einmal veröffentlicht – für immer online auffindbar? Ganz so einfach ist es dann doch nicht! Als Website-Betreiber entscheidest du selbst, welche Inhalte sichtbar bleiben sollen und welche nicht. Mithilfe von Meta-Robots-Tags, in Fachkreisen „Robots-Meta-Tags“ genannt, kannst du die Sichtbarkeit deiner Website in den Suchergebnissen selbst steuern. Wie das genau funktioniert, verrate ich dir in diesem Blogbeitrag!
Das erwartet dich in diesem Beitrag:
- Was ist ein Robots-Meta-Tag?
- Wie ist das Robots-Meta-Tag aufgebaut?
- Welche grundlegenden Anweisungen im Robots-Meta-Tag gibt es?
- Was sind typische Anwendungsfälle des Robots-Meta-Tag inklusive Beispiele?
- Welche weiteren spezifischen Anweisungen gibt es?
- Tool-Empfehlungen zum Check der Robots-Angaben
- Fazit
Was ist ein Robots-Meta-Tag?
Das Robots-Meta-Tag ist ein HTML-Tag, das Suchmaschinen-Crawlern wie dem Googlebot Anweisungen gibt, wie bestimmte Seiten einer Website indexiert und in den Suchergebnissen dargestellt werden sollen.
FĂĽr SEO ist das Element deshalb so wichtig, weil es einen unmittelbaren Einfluss auf die Sichtbarkeit und damit auch auf die Reichweite einer Website hat.
Wie ist das Robots-Meta-Tag aufgebaut?
Ein Robots-Meta-Tag wird im Head-Bereich einer Webseite platziert und kann wie folgt aussehen:
<meta name=“robots“ content=“index, follow“>
Im Wesentlichen besteht es aus zwei Hauptattributen, die wiederum mit unterschiedlichen Werten versehen sind:
- Das Attribut name gibt an, für welche Suchmaschinen das Tag gilt. So signalisiert der Wert „robots“ beispielsweise, dass alle Suchmaschinen gleichermaßen angesprochen werden sollen. Steht dort allerdings nur „googlebot“, wird nur der Googlebot adressiert.
- Über das content-Attribut steuerst du, wie der Crawler die jeweilige Seite behandeln soll. Während beispielsweise „noindex“ bewirkt, dass die Seite nicht indexiert wird, hält „nofollow“ den Crawler davon ab, Links zu folgen. Diese Anweisungen kommen besonders häufig zum Einsatz, doch es gibt auch einige weitere Spezifikationen.
Welche grundlegenden Anweisungen im Robots-Meta-Tag gibt es?
Die im Robots-Meta-Tag enthaltenen Anweisungen bestimmen, wie eine Seite in den Suchmaschinenergebnissen behandelt wird. Folgende grundlegende Anweisungen sind ĂĽblich:
index: Die Seite darf indexiert werden und in den Suchmaschinenergebnissen erscheinen.
noindex: Die Seite soll vom Suchmaschinen-Index ausgeschlossen werden und somit nicht in den Suchmaschinenergebnissen zu finden sein.
follow: Den Links auf der Seite darf gefolgt werden, d. h. Suchmaschinen-Crawler sollen die verlinkten Seiten besuchen und indexieren.
nofollow: Die adressierte(n) Suchmaschine(n) darf/dĂĽrfen den Links auf der Seite nicht folgen.
Was sind typische Anwendungsfälle des Robots-Meta-Tag inklusive Beispiele?
Das Robots-Meta-Tag kommt vor allem dann zum Einsatz, wenn es darum geht, eine Indexierung zu verhindern oder das Link-Following zu steuern.
In welchen Situationen entsprechende Anweisungen sinnvoll sind, erfährst du in der folgenden Übersicht:
Systemseiten: Bieten Seiten ihren Besuchern keinen Mehrwert, wie dies z. B. bei Login-Seiten der Fall ist, sollten sie nicht indexiert werden.
Ein Beispiel dafĂĽr wäre: <meta name=“robots“ content=“noindex, follow“>
Duplicate Content: Werden alle auf der Website vorhandenen Inhalte von Suchmaschinen indexiert, können doppelte Inhalte entstehen. Diese gilt es, unbedingt zu vermeiden, etwa mit dem folgenden Befehl: <meta name=“robots“ content=“noindex“>
Unvollständige oder temporäre Inhalte sollten ebenfalls von der Indexierung ausgeschlossen werden. Dazu zählen Seiten, die sich noch in der Entwicklung befinden oder die nicht für die öffentliche Anzeige gedacht sind (wie Testseiten oder Templates mit Blindtexten und/oder Rohtexten).
Diese verbirgst du mit dem folgenden Befehl:
<meta name=“robots“ content=“noindex, nofollow“>
Urheberrechtlich geschützter Content: Erscheinen Inhalte, die du nicht selbst erstellt hast oder für deren Nutzung du keine Rechte besitzt, in den Suchergebnissen, kann dies zu einer Urheberrechtsverletzung führen. Die Verwendung des Robots-Meta-Tags kann dich also zu einem gewissen Teil vor rechtlichen Auseinandersetzungen bewahren, auch wenn sie selbstverständlich keinen vollständigen Schutz davor bieten.
Mit dem folgenden Befehl „versteckst“ du entsprechende Inhalte vor Suchmaschinen-Crawlern und sorgst außerdem dafür, dass sie keinen Links auf der jeweiligen Seite folgen:
<meta name=“robots“ content=“noindex, nofollow“>
Welche weiteren spezifischen Anweisungen gibt es?
Neben den grundlegenden Anweisungen kann das Robots-Meta-Tag mit weiteren – spezifischeren – Anweisungen versehen werden. Welche das genau sind und was sie bewirken, zeigt die folgende Übersicht.
| Anweisung | Funktion |
|---|---|
| all | Hiermit erlaubst du Suchmaschinen, alle auf der Seite verfügbaren Inhalte zu erfassen. Da diese Regel als Standard gilt, ist die gesonderte Anweisung „all“ eigentlich obsolet. |
| none | Diese Anweisung hat die gleiche Funktion wie „noindex“ und „nofollow“. |
| noindex | Mit der folgenden Anweisung verbietest du Suchmaschinen das Indexieren deiner Seite, wodurch diese nicht in den Suchergebnissen erscheint.
<meta name=“robots“ content=“noindex“> Das kann beispielsweise bei einer Testseite oder einer Seite mit vertraulichen Informationen sinnvoll sein.
|
| nofollow | Mit diesem Befehl hinderst du Suchmaschinen daran, den Links auf deiner Seite zu folgen.
Soll dies fĂĽr die gesamte Seite gelten? Dann verwende am besten die folgende Anweisung: <meta name=“robots“ content=“nofollow“> Möchtest du das Verbot nur auf bestimmte Links beschränken, dann empfiehlt sich die Verwendung des rel=“nofollow“-Attributs. Dies könnte dann wie folgt aussehen: <a href=“https://example.com“ rel=“nofollow“>Beispiel Link</a> |
| noarchive | Mit diesem Befehl verhinderst du, dass eine Kopie der Seite im Suchmaschinen-Cache gespeichert wird. <meta name=“robots“ content=“noarchive“> Andernfalls kann Google eine zwischengespeicherte Version der Seite erstellen, um auf die Nutzer zugreifen zu können. |
| nosnippet | Sollen in den Suchergebnissen weder Text-Snippets noch Videovorschauen angezeigt werden? Dann nutze die folgende Anweisung:
<meta name=“robots“ content=“nosnippet“> Hinweis: Statische Miniaturansichten können jedoch weiterhin erscheinen, sofern sie einen Mehrwert fĂĽr Nutzer bieten. Diese Regel gilt fĂĽr alle Suchergebnisse (inkl. Google-Websuche, Bilder, Discover und KI-Ăśbersichten). Auf diese Weise lässt sich eine direkte Nutzung der Inhalte in KI-Ăśbersichten verhindern. |
| max-snippet: [Zahl] | Mit dieser Anweisung beschränkst du die Länge des Snippets in den Suchergebnissen auf eine von dir definierte Anzahl von Zeichen. Im folgenden Beispiel liegt die maximale Zeichenanzahl bei 40. <meta name=“robots“ content=“max-snippet:40″>
Soll beispielsweise kein Snippet angezeigt werden, so kannst du als Wert „0“ eingeben. Dies setzt die Suchmaschine mit der Anweisung „nosnippet“ gleich. Gibst du hingegen „-1“ ein, legt Google die optimale Snippet-Länge selbst fest, um Nutzer auf deine Inhalte aufmerksam zu machen und auf deine Seite zu leiten. Hinweis: URLs können in mehreren Suchergebnissen angezeigt werden, ohne dadurch die Bild- oder Videovorschau zu beeinflussen. Dies betrifft alle Arten von Suchergebnissen, darunter auch die Google-Websuche, Bilder, Discover, Assistant und KI-Übersichten. Darüber hinaus schränkt diese Regel die Nutzung durch KI-Übersichten ein, sofern keine ausdrückliche Genehmigung durch den Publisher vorliegt. Fehlt eine spezifische Zahl, ignoriert Google diese Anweisung einfach. |
| max-image-preview: [Einstellung] | Mit dieser Anweisung legst du fest, wie groĂź die Bildvorschau fĂĽr die jeweilige Seite in den Suchergebnissen sein darf. Fehlt die entsprechende Angabe, so zeigt Google die Bildvorschau erfahrungsgemäß in der Standardgröße an. Zur Bestimmung der Vorschaugröße stehen dir folgende Werte zur VerfĂĽgung: â—Ź none, wenn keine Bildvorschau angezeigt werden soll. â—Ź standard, wenn eine Standardbildvorschau verwendet werden darf.  <meta name=“robots“ content=“max-image-preview:standard“> â—Ź large, wenn eine größere Bildvorschau gewĂĽnscht wird. Diese darf jedoch nicht breiter als der Darstellungsbereich sein. <meta name=“robots“ content=“max-image-preview:large“> Diese Regel greift fĂĽr alle Suchergebnisse (inkl. Google-Websuche, Google Bilder, Discover und Assistant. Eine Ausnahme bildet jedoch der Fall, wenn ein Publisher die Nutzung seiner Inhalte explizit genehmigt hat, etwa durch die Bereitstellung von strukturierten In-Page-Daten (wie AMP- und kanonische Versionen) oder durch eine Lizenzvereinbarung mit Google. Hinweis: Falls du nicht möchtest, dass größere Miniaturansichten deiner AMP-Seiten und kanonischen Versionen in der Google Suche und Discover erscheinen, setze bei max-image-preview „standard“ oder „none“ ein. |
| max-video-preview: [Zahl] | Auch die Anzeigendauer von Video-Snippets in den Suchergebnissen kannst du eigenständig festlegen, z. B. mit dem folgenden Befehl:
<meta name=“robots“ content=“max-video-preview:30″> In diesem Beispiel ist die Video-Vorschau einer bestimmten Seite auf maximal 30 Sekunden beschränkt. Soll lediglich ein statisches Bild ausgespielt werden? Dann verwende einfach den Wert „0“. Diese Regel findet Anwendung fĂĽr alle Arten von Suchergebnissen, so auch fĂĽr die Google-Websuche, fĂĽr die Google Bilder und Google Videos sowie fĂĽr Discover und fĂĽr den Google Assistant. Bitte beachte stets, dass der angegebene Wert „parsbar“ und damit von Systemen gelesen sowie verarbeitet werden kann. Mit anderen Worten: Ohne einen gĂĽltigen Wert können Suchmaschinen wie Google deine Anweisung nicht befolgen. |
| noimageindex | Mit der folgenden Anweisung verhinderst du, dass Bilder auf der entsprechenden Seite indexiert werden und in den Suchergebnissen erscheinen.
<meta name=“robots“ content=“noimageindex“> |
| notranslate | Dieser Befehl ist dann sinnvoll, wenn du keine maschinelle Übersetzung durch Google wünschst, weil du deine Inhalte möglicherweise bereits in einer anderen Sprache professionell aufbereitet hast und Nutzern zur Verfügung stellst.
Den Google-Ăśbersetzer hältst du mithilfe des folgenden Befehls von deiner Seite fern: <meta name=“robots“ content=“notranslate“> Auch hierbei gilt: Fehlt die entsprechende Angabe, so ĂĽbersetzt Google den Titellink, das Snippet sowie alle Texte und Links auf der Seite automatisch in eine andere Sprache. |
| unavailable_after: [Datum/Uhrzeit] | Diese Anweisung kommt zum Einsatz, wenn die Seite nach dem von dir festgelegten Zeitpunkt nicht mehr in den Suchergebnissen erscheinen soll. Dies kann beispielsweise bei Landingpages mit zeitlich begrenzten Angeboten oder Aktionen sinnvoll sein.
Bitte achte darauf, dass das Datum und die Uhrzeit in einem gängigen Format wie RFC 822, RFC 850 oder ISO 8601 anzugeben sind. Hinweis: Ohne die Angabe eines gĂĽltigen Zeitpunktes setzt der Googlebot das Crawlen der Seite fort. So versiehst du die Seite mit einem „Ablaufdatum“: <meta name=“robots“ content=“unavailable_after: 2024-10-20″> Damit informierst du Suchmaschinen wie Google darĂĽber, dass die betreffende Seite nach dem 20. Oktober 2024 nicht mehr indexiert sein soll und somit auch nicht in den Suchergebnissen angezeigt werden soll. |
| indexifembedded | Diese Regel bedeutet, dass Google Inhalte trotz einer noindex-Anweisung indexieren kann, wenn der entsprechende Content durch iframes oder ähnliche HTML-Tags eingebettet ist.
Allerdings gilt „indexifembedded“ nur dann, wenn gleichzeitig eine noindex-Anweisung vorhanden ist. <meta name=“robots“ content=“noindex, indexifembedded“> Der Inhalt dieser Seite kann also indexiert werden, wenn er von anderen Seiten eingebettet ist, obwohl die entsprechende Seite nicht in den Google-Suchergebnissen angezeigt werden soll. |
| nositelinkssearchbox | Mit dem folgenden Befehl verhinderst du, dass ein Sitelinks-Suchfeld fĂĽr deine Website in den Google-Suchergebnissen angezeigt wird.
<meta name=“robots“ content=“nositelinkssearchbox“> |
Michael Möller – SEO Berater
Tool-Empfehlungen zum Check der Robots-Angaben
Du möchtest sicherstellen, dass deine Robots-Angaben richtig eingestellt sind und deine Webseiten wie von dir vorgegeben indexiert werden? Dafür stehen dir verschiedene Tools zur Verfügung. Einige davon möchte ich dir heute einmal näher vorstellen.
Robots Exclusion Checker
Robots Exclusion Checker ist eine praktische Chrome-Erweiterung, mit der du sämtliche Signale auf deiner Website überprüfen kannst: angefangen bei Meta-Robots-Tag über robots.txt und X-robots-Tag bis hin zu Rel=Canonical, UGC, Sponsored und Nofollow-Attributwerten.
Mit diesem Tool ermittelst du in Sekundenschnelle, ob deine Seiten korrekt für Suchmaschinen konfiguriert sind und ob es Einschränkungen gibt, die möglicherweise die Sichtbarkeit deiner Inhalte beeinträchtigen könnten.
SEO Pro Extension
Die SEO Pro Extension bietet wiederum umfassende SEO-Analysefunktionen, darunter auch die ĂśberprĂĽfung von Robots-Meta-Tags und anderen wichtigen SEO-Elementen.
Mit dieser Erweiterung kannst du alle relevanten SEO-Daten deiner Webseiten überprüfen. So stellst du sicher, dass deine Robots-Angaben optimal eingestellt sind und deine Sichtbarkeit in den Suchergebnissen gewährleistet ist.
Fazit
Dass das Robots-Meta-Tag ein mächtiges SEO-Werkzeug ist, liegt auf der Hand. Denn es ermöglicht dir die Kontrolle darüber, wie Suchmaschinen deine Webseiten behandeln und indexieren.
Durch seine vielseitigen Anweisungen kannst du nämlich präzise festlegen, ob und wie deine Seiten in den Suchergebnissen erscheinen sollen. Die grundlegenden Anweisungen wie „index“, „noindex“, „follow“ und „nofollow“ sind dabei besonders wichtig, wenn es darum geht, die Sichtbarkeit deiner Seiten gezielt zu steuern und mögliche Probleme wie Duplicate Content oder das Indexieren von nicht öffentlichen Inhalten zu vermeiden.
Eine Feinjustierung für das Suchmaschinenranking und die Darstellung in den Suchergebnissen ist ebenfalls möglich. Dafür steht dir eine Reihe von weiteren spezifischen Anweisungen wie „noarchive“, „nosnippet“, „max-snippet“ u. v. a. m. zur Verfügung.
Ob deine Robots-Meta-Tags korrekt gesetzt sind und keine unbeabsichtigten Auswirkungen auf die Sichtbarkeit deiner Seiten haben, ermittelst du mithilfe von speziellen Tools wie dem Robots Exclusion Checker oder der SEO Pro Extension. Damit stellst du sicher, dass deiner SEO-Strategie nichts im Wege steht.
Insgesamt ermöglicht dir der Einsatz des Robots-Meta-Tags eine genaue Kontrolle über die Indexierung und Sichtbarkeit deiner Webseiten und das wiederum ist essenziell für eine erfolgreiche SEO-Strategie!
Quellen:
