Wer einen neuen WordPress Blog einrichtet möchte warscheinlich nicht, dass Google den Blog indexiert bevor wirklich alle Vorarbeiten abgeschlossen sind. Zu diesem Zweck hat man im WordPress Backend (Einstellungen -> Lesen) die Möglichkeit Suchmaschinen das Indexieren der Webseite zu verbieten. Dazu muss man lediglich unter Einstellungen -> Lesen bei „Verbietet Suchmaschinen die Website zu indexieren“ einen Haken setzen. Dadurch setzt WordPress einen Vermerk in die virtuelle Robots.txt von WordPress und informiert den Google Bot darüber.
Hat man den WordPress Blog fertiggestellt nimmt man den Haken in den Einstellungen wieder raus und somit verschwindet auch der Vermerk in der robots.txt.
Doch geht man dann in die Google Webmastertools und fügt unter Crawling -> Sitemaps eine neue Sitemap hinzu bekommt man in vielen Fällen die folgende Fehlermeldung:
URL durch „robots.txt“ eingeschränkt
Fehler: Beim Versuch, auf Ihre Sitemap zuzugreifen, ist ein Fehler aufgetreten. Bitte vergewissern Sie sich, dass Ihre Sitemap unseren Richtlinien entspricht und unter der angegeben Adresse zu finden ist, und reichen Sie sie dann erneut ein.
In einigen Fällen kann es auch zu Warnungen kommen. Dann erscheint beispielsweise die Warnung:
Warnung: URL wird von der „robots.txt“-Datei blockiert. Sitemap enthält URLs, die von der „robots.txt“-Datei blockiert werden.
Genau das ist auch mir schon öfters passiert und ich war im ersten Moment ratlos und vermutete das Problem in meiner Sitemap da in der robots.txt nichts mehr drin stand. Zur Generierung der Sitemap nutze ich das wohl bekannteste WordPress Plugin Google XML Sitemaps von arnee. Doch auch hier war kein Fehler zu finden.
Der Grund für die Warnungen und Fehlermeldungen in den Google Webmastertools dürfte der Besuch des Google Bots sein. Nachdem dieser zuvor durch die robots.txt abgewiesen wurde hat er diese Information so erst einmal gespeichert. Und bis er den WordPress Blog erneut besucht können durchaus ein paar Tage vergehen. Daher ist die einfachste Lösung einfach ein paar Tage abzuwarten und dann erneut in den Webmastertools nachzuschauen und die Sitemap ggf. erneut einreichen.
Also, keine Panik 😉
Danke Lars!
Das macht mich seit gestern total verrückt… Dann heißt es wohl, sich ein wenig in Geduld zu üben.
Viele Grüße,
Lars
Danke Lars, du hast mir drei Stunden Arbeit erspart
Ich hab gerade den gleichen Fehler. Hinzu kommt, dass dann der Data Highlighter nicht geht, weil Google darauf antwortet, dass die Seite nicht im Index ist.
Nur zur Info: Die komplette Seite aus den Webmaster-Tools zu löschen oder die Sitemap erneut einzureichen lösen das Problem nicht.
Hallo Lars,
ich war schon kurz vor dem Verzweifeln, da die Meldung nicht weg gehen will, egal was man tut.
Ich werde wohl einfach mal ein paar Tage abwarten müssen und gucken, ob die Seiten indiziert werden.
Lieben Gruß,
Andre.
Bei mir hat es auch eine Weile gedauert… und nach einer Zeit verzweifelt man….
Vielen Dank für diesen Artikel. Ihr / Du hast mir gerade locker 2-3 Stunden Arbeit gespart. 🙂
Hallo,
das Problem habe ich aktuell auch. Die generierte robots blockiert nix und alle URLs in der Sitemap sind indexierbar. Selbst auf ein Klick auf Live Test bei Search Console ändert nix daran. Das Problem besteht nun seit einigen Tagen. Außerdem sind aktuell vermehrt Seiten und Artikel im Google Cache fehlerhaft. Dort erscheinen 404s. Ob das damit zusammenhängt, kann ich nicht sagen.