Bot Update mit neuer Versionsnummer
Da in letzter Zeit viel am Crawler von Semager gearbeitet worden ist, hat dieser mit dem jetzigen Update auch eine neue Versionsnummer und einen neuen User-Agent bekommen.
Der aktuelle Bot taucht im Internet als “Semager/1.4″ auf und hört auf die die Robots.txt unter den Einträgen “semager” bzw “*” für alle. Der neue User-Agent wurde an die Gepflogenheiten anderer Suchmaschinen angepasst und lautet nun “Mozilla/5.0 (compatible; Semager/1.4; http://www.semager.de/blog/semager-bots/)”.
Folgende Änderung sind mit diesem Update aktiv geworden:
- Erkennung unendlicher Weiterleitungen
- Korrekturen in der Erkennung von Frames und Iframes
- Handhabung von Cookies während eines Crawlervorgangs
- Verbesserte und schnellere Erkennung von Zeichensätzen
- Überprüfung der Korrektheit von DNS Einträgen vor dem Crawlvorgang
Weitere Hinweise finden Sie auch unter:
http://www.semager.de/blog/semager-bots/
Diese Artikel könnten Sie auch interessieren:
