Semager-Bot mit neuer Versionsnummer
Nach einigen Verbesserungen im Crawler, gibt es nun eine neue Versionsnummer “1.3″. Für Webmaster ändert sich dadurch nichts, der Bot hört nach wie vor auf die Anweisungen in der robots.txt, die entweder unterhalb “*” (jeder Crawler wird angesprochen) oder “semager” stehen (Anweisungen nur speziell nur für den Semager Bot).
Die wichtigsten Änderungen sind:
- Es wurde ein Fehler korrigiert, der dazu führte das die robots.txt mehrfach bei einem Seitenaufruf geladen wurde. Dies war insbesondere dann der Fall, wenn die Seite über Frames verfügte.
- Der Semager-Bot unterstützt jetzt ebenfalls Wildcard-Anweisungen (z.B: Disallow: /test/*.html).
- Einige Verbesserungen und Patches in der Fehlererkennung.
- Bessere Erkennung von Weiterleitungen.
Diese Artikel könnten Sie auch interessieren:
