rvdforst

Für Webauftritte ist es zuzeiten sinvoll die Indexierung von bestimmte Dateien und Verzeichnisse zu vermeiden. Beispielweise, wenn es sich um Dateien handelt, die nicht relevante Inhalte haben. Um das zu ermöglichen, muß man eine Textdatei mit dem Namen “robots.txt” erstellen und diese im Stammverzeichnis der Webauftrittedomain hinzufügen, so daß die Robots (googlebot, msnbot, etc.) sie finden.
Für Webauftritte auf Basis WordPress der robots.txt Inhalt wird dynamisch erzeugt.
Das RRZE-Robots-Txt Plugin ermöglich die Bearbeitung des robots.txt Inhalts um weitere Direktiven hinzuzufügen.
Multisite kompatibel.

RRZE-Robots-Txt

Ermöglich die Bearbeitung des robots.txt Inhalts um weitere Direktiven hinzuzufügen. Multisite kompatibel.

Samir Shah

Matt Calvert

This plugin issues an HTTP <code>410</code> response for URLs corresponding to content that has been permanently removed from your site. Originally created by Samir Shah, now maintained by Matt Calvert. When a post or page is deleted, the plugin logs the old URL and returns a <code>410</code> response when that URL is requested. You can also manually manage the list of obsolete URLs.
The <a href="http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html#sec10.4.11" rel="nofollow ugc">HTTP Specification</a> defines the <code>410 Gone</code> response for resources that have been permanently removed. It informs search engines and crawlers that the content will not return, improving crawl efficiency and SEO clarity.
This plugin is actively maintained by Matt Calvert as a personal project, informed by previous professional experience with similar 410-handling logic. No proprietary or employer-owned code has been used.

HTTP 410 (Gone) responses


Still working when tested but an update would be nice to avoid getting hacked or breakdown of site


still working

Sends HTTP 410 (Gone) responses for deleted content, telling search engines the page is permanently removed.

RRZE-Robots-Txt vs HTTP 410 (Gone) responses