Vor einer guten Woche fand ich in den Google Webmaster Tools bei einigen meiner Webseiten folgende Warnungen:

• robots.txt ist nicht erreichbar
• Netzwerk nicht erreichbar

Da es in der Vergangenheit auch Warnmeldungen zu Unterseiten gab, die schon seit einem Jahr oder länger nicht mehr existierten und außerdem über die WMT  gelöscht wurden nahm ich die Warnmeldungen als “Google Bug” auf die leichte Schulter. Die Domains waren erreichbar - die robots.txt auch.Kommt halt mal vor und wird sich wieder geben.

Ein fataler Fehler wie sich herausstellen sollte, denn nach 3 Tagen flog die Startseite der ersten Domain aus dem Index, bei anderen wurden die Unterseiten immer weniger. Mein Ranking verschlechterte sich Zunehmens, also musste ich handeln – ein Google Bug konnte dies wohl nicht sein, sonst hätte es auch andere Seiten betreffen müssen.

Also begann ich nachzuforschen:

Meine Seiten habe ich auf mehrere Webhoster verteilt, bei diesem Webhoster besitze ich aber zwei unterschiedliche Webpacks in denen ein Großteil meiner Domains liegt. Die Fehlermeldungen betrafen nur Webseiten aus dem einen Webpack – alle anderen Seiten, Webhoster unabhängig,  wurden regelmäßig von Google gespidert und rankten wie sonst auch.

Schritt 1:
Den Support angerufen. Die Antwort war eigentlich klar – die Server sind in Ordnung. Mir wurde aber empfohlen eine Mail mit Schilderung des Sachverhaltes an den technischen Support zu senden.

Schritt 2:
Mail an den Support versendet.

Schritt 3:
Da ich nicht ewig auf Antwort warten wollte suchte ich mir per IP Ermittlungs Tool die Domains raus die auch auf diesem Webpack mit derselben IP lagen. Nachdem ich bei ca. 20 Domains über die Site Abfrage von Google festgestellt hatte, dass deren Startseiten auch nicht mehr im Index waren erhärtete sich mein Verdacht, dass es wohl wirklich mit diesem speziellen Webpack zu tun haben müsse.

Schritt 4:
Also suchte ich per Google nach robots.txt ist nicht erreichbar und fand einen Blogeintrag der zwar schon ein Jahr alt war, aber genau dieses Problem beschrieb. Damals hatte ein Webhoster wegen zu viel Traffic den Googlebot kurzerhand ausgesperrt.

Schritt 4:
Noch mal den Support angerufen und gefragt ob die Möglichkeit besteht, dass so etwas auch hier passiert sein kann.

Antwort:
So etwas machen wir auf keinen Fall. Niemals.

Als dann irgendwann im Laufe des Tages die Mail vom technischen Support kam und mir automatisiert mitgeteilt wurde dass meine Anfrage in Bearbeitung sei, beantwortete ich diese sofort mit dem Verweis auf den Blog und dem Tipp diese Möglichkeit doch zumindest einmal zu prüfen. Irgendwas musste mit dem Webpack ja nicht in Ordnung sein.

Kurz darauf kam dann diese Antwort:
Ja das kann durch die Firewall passieren, wenn eine Überlastung durch “nicht Suchmaschinenoptimierte Webseiten” stattfindet.

Aha, so etwas wird also entgegen des Mitarbeiters am Telefon wohl doch praktiziert. Aber was bedeutet “Nicht Suchmaschinenoptimierte Webseiten”?

Keine Ahnung – die Frage wurde mir nur mit einem Verweis auf Wikipedia (Thema Suchmaschinenoptimierung) versucht zu beantworten.  Danke für diese hilfreiche Antwort - was Suchmaschinenoptimierung bedeutet wusste ich bis dato nicht;-)

Auf nachhaken bekam ich dann folgende Antwort:
Wenn Ihre Webseiten nicht optimiert sind kann es passieren, dass z.B. der Googlebot zu viele gleichzeitige Verbindungen aufmacht und damit den Server runterzieht. Dann wird die IP des Googlebots gesperrt, damit die Webseiten der anderen Kunden weiterhin erreichbar bleiben.

Ach so, wenn eine Webseite zu viel Traffic verursacht, dann wird der Googlebot ausgesperrt – und das von einem Webhoster der mir was über suchmaschinenoptimierte Webseiten erzählt. Aber nun gut, macht vielleicht sogar Sinn erst einmal den Traffic zu reduzieren – aber dann doch nur für kurze Zeit.

Antwort auf diese Frage:
In der Regel werden diese Einträge nach 24-48 Stunden wieder automatisch gelöscht. Sollte es nach der Freischaltung wieder zu übermäßigen Überlastung des Servers durch diesen Boot kommen, können diese Einträge jedoch nur noch Händisch entfernt werden. Diese Sicherheitsvorkehrung lässt sich im Shared Hosting Bereich nicht unterbinden.

Ich habe nun absolut keine Ahnung vom Webhosting, aber vielleicht gibt es Möglichkeiten die betreffende Webseite für einen kurzen Zeitraum abzuschalten und nicht die anderen 100 unbeteiligten mit diesem Problem zu belasten. Wenn aber eine Sperrung nur Händisch aufgehoben werden kann, dann sollte das nicht erst nach einer guten Woche aufgrund der Mitteilung des Kunden erfolgen. So etwas ist in meinen Augen geschäftsschädigend und Existenzgefährdent.

Den Webhoster möchte ich hier nicht nennen, da ich glaube das so etwas bei jedem passieren kann. Es handelt sich aber um einen größeren und sehr bekannten Webhoster mit dem ich immer sehr zufrieden war. Fehlerfrei ist eben keiner.

Seit gestern ist der Googlebot aber wieder fleißig am spidern und ich gehe davon aus, dass ich in einer Woche meine Positionen wieder haben sollte.

Mein Fazit:
Nach Neujahr werde ich einen Teil meiner Domains auf andere Provider verteilen um eine noch größere Streuung zu erhalten. Weiterhin werde ich regelmäßiger in die Google Webmaster Tools schauen und ggf. vorhandene  Fehlermeldungen ernster nehmen.