Kommentare zu: Bots http://www.semager.de/blog Semantik für SEO und SEM Wed, 16 May 2012 01:53:17 +0000 hourly 1 http://wordpress.org/?v=3.3.2 Von: Bot Update mit neuer Versionsnummer « Semantic Weblog http://www.semager.de/blog/semager-bots/comment-page-1/#comment-32255 Bot Update mit neuer Versionsnummer « Semantic Weblog Wed, 24 Feb 2010 15:50:00 +0000 http://www.semager.de/blog/semager-bots/#comment-32255 [...] Bots [...] [...] Bots [...]

]]> Von: Sven http://www.semager.de/blog/semager-bots/comment-page-1/#comment-30244 Sven Fri, 31 Jul 2009 14:08:04 +0000 http://www.semager.de/blog/semager-bots/#comment-30244 Warum geben Sie in Ihrem robots.txt Beispiel * an, damit sperren unbedarfte Webmaster ihre Seite für alle Crawler. Ändern Sie das doch bitte in die korrekte Angabe "semager" Anmrk.d.Red.:Hi, die Angabe Semager zur Sperrung der Webseite nur für Semager stand unmittelbar im darauffolgenden satz. Es kann jedoch sein, das dieser überlesen wird, da die meisten Webmaster nur nach der Konfigurationsanweisung suchen. Wir haben das entsprechend geändert. Warum geben Sie in Ihrem robots.txt Beispiel * an,
damit sperren unbedarfte Webmaster ihre Seite für alle Crawler.
Ändern Sie das doch bitte in die korrekte Angabe “semager”

Anmrk.d.Red.:Hi, die Angabe Semager zur Sperrung der Webseite nur für Semager stand unmittelbar im darauffolgenden satz. Es kann jedoch sein, das dieser überlesen wird, da die meisten Webmaster nur nach der Konfigurationsanweisung suchen. Wir haben das entsprechend geändert.

]]> Von: e-sushi http://www.semager.de/blog/semager-bots/comment-page-1/#comment-16502 e-sushi Sat, 30 Aug 2008 19:06:31 +0000 http://www.semager.de/blog/semager-bots/#comment-16502 Aha, also gibt's doch einen BOT-String, aber wie sieht es aus? Ist eurer Spider mittlerweile "schlauer" und "Bug-Free"? Aha,

also gibt’s doch einen BOT-String, aber wie sieht es aus? Ist eurer Spider mittlerweile “schlauer” und “Bug-Free”?

]]> Von: Johann http://www.semager.de/blog/semager-bots/comment-page-1/#comment-2868 Johann Mon, 28 Jan 2008 13:29:48 +0000 http://www.semager.de/blog/semager-bots/#comment-2868 $ grep Semager logfile 212.114.209.251 johannburkard.de [28/Jan/2008:14:35:48 +0100] "GET /de/ HTTP/1.1" 200 6642 "-" "Semager/1.1 (http://www.semager.de/blog/semager-bots/)" "-" $ Bis der Bot nach robots.txt fragt, ist er auf meinem Server geblockt. Ich kann nur dringend empfehlen, sich darum zu kümmern. <blockquote>Update 5.2.2008: Hallo, vielen Dank für den Hinweis. Es sollten nun allen "Disallow" Direktiven in der robots.txt gefolgt werden.</blockquote> $ grep Semager logfile
212.114.209.251 johannburkard.de [28/Jan/2008:14:35:48 +0100] “GET /de/ HTTP/1.1″ 200 6642 “-” “Semager/1.1 (http://www.semager.de/blog/semager-bots/)” “-”
$

Bis der Bot nach robots.txt fragt, ist er auf meinem Server geblockt. Ich kann nur dringend empfehlen, sich darum zu kümmern.

Update 5.2.2008:
Hallo,
vielen Dank für den Hinweis. Es sollten nun allen “Disallow” Direktiven in der robots.txt gefolgt werden.

]]> Von: UrWind http://www.semager.de/blog/semager-bots/comment-page-1/#comment-789 UrWind Mon, 22 Oct 2007 02:33:08 +0000 http://www.semager.de/blog/semager-bots/#comment-789 Vielen lieben Dank für den Besuch Ihres Bots auf meiner Seite (in den Logs gesehen) Vielen lieben Dank für den Besuch Ihres Bots auf meiner Seite (in den Logs gesehen)

]]>