rvdforst

Für Webauftritte ist es zuzeiten sinvoll die Indexierung von bestimmte Dateien und Verzeichnisse zu vermeiden. Beispielweise, wenn es sich um Dateien handelt, die nicht relevante Inhalte haben. Um das zu ermöglichen, muß man eine Textdatei mit dem Namen “robots.txt” erstellen und diese im Stammverzeichnis der Webauftrittedomain hinzufügen, so daß die Robots (googlebot, msnbot, etc.) sie finden.
Für Webauftritte auf Basis WordPress der robots.txt Inhalt wird dynamisch erzeugt.
Das RRZE-Robots-Txt Plugin ermöglich die Bearbeitung des robots.txt Inhalts um weitere Direktiven hinzuzufügen.
Multisite kompatibel.

RRZE-Robots-Txt

Ermöglich die Bearbeitung des robots.txt Inhalts um weitere Direktiven hinzuzufügen. Multisite kompatibel.

radgh

This simple and lightweight plugin adds a “Hide from search engines” checkbox above the publish box to pages. By 
ticking this box, a meta tag will be placed into the <code><head></code> section of your page specifying that robots should 
not index the page.
By default this only applies to pages. You may extend this functionality to posts or other custom post types with a small bit of code. See the FAQ’s tab for further instructions.

Noindex Pages

Ask search engines not to index individual pages by checking an option in the publish post box.

RRZE-Robots-Txt vs Noindex Pages