Technische Richtilinien

•  Verwenden Sie zum Überprüfen Ihrer Website einen Textbrowser. Verhindern Funktionen wie JavaScript, Cookies, Sitzungs-IDs, Frames, DHTML oder Flash die Anzeige Ihrer gesamten Website in einem Textbrowser, treten beim Durchsuchen der Website durch Crawler möglicherweise Probleme auf.

•  Ermöglichen Sie Suchrobots, Ihre Website ohne Sitzungs-IDs oder Parameter zu crawlen, die ihren Weg durch die Website aufzeichnen. Diese Methoden sind hilfreich, um die Aktivitäten einzelner Nutzer zu analysieren. Das Zugriffsmuster von Suchrobots gestaltet sich jedoch vollkommen anders. Das Verwenden solcher Techniken kann zu einer unvollständigen Indexierung Ihrer Website führen, da Suchrobots eventuell keine URLs entfernen können, die unterschiedlich aussehen, aber auf dieselbe Seite verweisen.

•  Stellen Sie sicher, dass Ihr Webserver den HTTP-Header "If-Modified-Since" unterstützt. Über diese Funktion kann Ihr Webserver Google mitteilen, ob der Inhalt seit dem letzten Crawling Ihrer Website geändert wurde. Mit dieser Funktion können Sie Bandbreite und Overhead sparen.

•  Nutzen Sie die Datei "robots.txt" auf Ihrem Webserver. Diese Datei teilt Crawlern mit, welche Verzeichnisse durchsucht werden dürfen und welche gesperrt sind. Vergewissern Sie sich, dass eine aktuelle Version der Datei für Ihre Website vorliegt, damit der Googlebot-Crawler nicht versehentlich blockiert wird. Informationen zum Erteilen von Anweisungen an Robots, die Ihre Website besuchen, erhalten Sie unter www.robotstxt.org/faq.HTML. Die Datei "robots.txt" kann mit dem "robots.txt"-Analyse-Tool aus den Google Webmaster-Tools getestet werden, um die korrekte Verwendung der Datei sicherzustellen.

•  Wenn Ihr Unternehmen ein System zur Verwaltung von Content erwirbt, stellen Sie sicher, dass das System Seiten und Links erstellt, die von Suchmaschinen gecrawlt werden können.
 
•  Verhindern Sie mithilfe der Datei "robots.txt" das Crawlen von Suchergebnisseiten oder anderen automatisch erstellten Seiten, die keinen großen Wert für Besucher haben, die über eine Suchmaschine auf Ihre Website geleitet wurden.

•  Testen Sie Ihre Website, um sicherzustellen, dass sie in verschiedenen Browsern richtig angezeigt wird.