Googlebot füllt Suchanfragen aus

Da ich aus aktuellem Anlass in letzter Zeit öfters in die echtzeit Log-Dateien meines Servers sehe, ist mir aufgefallen, das der Googlebot anscheinend hergeht und Suchanfragen ausfüllt. Und dies, obwohl eindeutig in der robots.txt definiert wurde, das dieses Verzeichnis gesperrt ist.

Muss man nicht verstehen… ?

66.249.65.116 – - [24/Feb/2010:16:19:25 +0100] “GET /search/?q=streifenvorhang HTTP/1.1″ 200 19672 “-” “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

Share and Enjoy:
  • Print
  • Digg
  • StumbleUpon
  • del.icio.us
  • Facebook
  • Yahoo! Buzz
  • Twitter
  • Google Bookmarks

Diese Artikel könnten Sie auch interessieren:

Kommentare

domingos - oliveira-online.net  01.Mrz 2010 - 11:26

Bin mir recht sicher, dass die Bots auch in geperrte Verzeichnisse gucken, die sllen ja lediglich nicht in den Suchindex aufgenommen werden. Wer sicher gehen möchte, muss die Verzeichnisse per Passwort schützen. Vielleicht braucht Google neue Vorhänge.

Jens -   25.Feb 2010 - 09:17

Google hat vermutlich von der Startseite die Suchanfrage ausgeführt. Das das zielverzeichnis “search/” gesperrt ist, heisst ja nicht, das google hier nicht auch mal gerne reinschaut ;-)

Spannend wäre die Frage: Warum sucht google gerade nach “streifenvorhang”?

Gruß


Hinterlassen Sie einen Kommentar

Name (notwendig)
Email (notwendig, wird aber nicht veröffentlicht)
Website