WordPress: URL durch robots.txt eingeschränkt – Google Webmastertools

Wer einen neuen WordPress Blog einrichtet möchte warscheinlich nicht, dass Google den Blog indexiert bevor wirklich alle Vorarbeiten abgeschlossen sind. Zu diesem Zweck hat man im WordPress Backend (Einstellungen -> Lesen) die Möglichkeit Suchmaschinen das Indexieren der Webseite zu verbieten. Dazu muss man lediglich unter Einstellungen -> Lesen bei „Verbietet Suchmaschinen die Website zu indexieren“ einen Haken setzen. Dadurch setzt WordPress einen Vermerk in die virtuelle Robots.txt von WordPress und informiert den Google Bot darüber.

Hat man den WordPress Blog fertiggestellt nimmt man den Haken in den Einstellungen wieder raus und somit verschwindet auch der Vermerk in der robots.txt.

Doch geht man dann in die Google Webmastertools und fügt unter Crawling -> Sitemaps eine neue Sitemap hinzu bekommt man in vielen Fällen die folgende Fehlermeldung:

URL durch „robots.txt“ eingeschränkt

Fehler: Beim Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler aufgetreten. Bitte vergewissern Sie sich, dass Ihre Sitemap unseren Richtlinien entspricht und unter der angegeben Adresse zu finden ist, und reichen Sie sie dann erneut ein.

In einigen Fällen kann es auch zu Warnungen kommen. Dann erscheint beispielsweise die Warnung:

Warnung: URL wird von der „robots.txt“-Datei blockiert. Sitemap enthält URLs, die von der „robots.txt“-Datei blockiert werden.

Genau das ist auch mir schon öfters passiert und ich war im ersten Moment ratlos und vermutete das Problem in meiner Sitemap da in der robots.txt nichts mehr drin stand. Zur Generierung der Sitemap nutze ich das wohl bekannteste WordPress Plugin Google XML Sitemaps von arnee. Doch auch hier war kein Fehler zu finden.

Der Grund für die Warnungen und Fehlermeldungen in den Google Webmastertools dürfte der Besuch des Google Bots sein. Nachdem dieser zuvor durch die robots.txt abgewiesen wurde hat er diese Information so erst einmal gespeichert. Und bis er den WordPress Blog erneut besucht können durchaus ein paar Tage vergehen. Daher ist die einfachste Lösung einfach ein paar Tage abzuwarten und dann erneut in den Webmastertools nachzuschauen und die Sitemap ggf. erneut einreichen.

Also, keine Panik 😉