rvdforst

Für Webauftritte ist es zuzeiten sinvoll die Indexierung von bestimmte Dateien und Verzeichnisse zu vermeiden. Beispielweise, wenn es sich um Dateien handelt, die nicht relevante Inhalte haben. Um das zu ermöglichen, muß man eine Textdatei mit dem Namen “robots.txt” erstellen und diese im Stammverzeichnis der Webauftrittedomain hinzufügen, so daß die Robots (googlebot, msnbot, etc.) sie finden.
Für Webauftritte auf Basis WordPress der robots.txt Inhalt wird dynamisch erzeugt.
Das RRZE-Robots-Txt Plugin ermöglich die Bearbeitung des robots.txt Inhalts um weitere Direktiven hinzuzufügen.
Multisite kompatibel.

RRZE-Robots-Txt

Ermöglich die Bearbeitung des robots.txt Inhalts um weitere Direktiven hinzuzufügen. Multisite kompatibel.

Samir Shah

This plugin will issue a HTTP <code>410</code> response to requests for articles that no longer exist on your blog. When you delete a post or page, it records the URL for that page and issues a <code>410</code> response when that URL is requested. You can also manually manage the list of obsolete URLs.
The <a href="http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html#sec10.4.11" rel="nofollow ugc">HTTP Specification</a> defines the <code>410</code> response header for use when a resource has been permanently removed. It informs robots visiting your site that the requested content has gone, and that they should stop trying to access it.
If you come across any bugs or have suggestions, please use the plugin support forum. I can’t fix it if I don’t know it’s broken! Please check the <a href="https://wordpress.org/extend/plugins/wp-410/faq/" rel="ugc">FAQ</a> for common issues.

410 for WordPress

A plugin that sends HTTP 410 (Gone) responses to requests for articles that no longer exist on your blog.

RRZE-Robots-Txt vs 410 for WordPress