trans.data multimedia

Blog

Neue Regeln für robot.txt

google neuigkeiten transdata multimedia

Google unterstützt einige Angaben nicht mehr

Ab dem 01.09.2019 wird Google die Noindex, Nofollow und Crawl-delay Anweisungen in der robot.txt ignorieren. In der robot.txt wird für den Googlebot geregelt, welche Verzeichnisse von der Webseite / Shop gescannt und in die Google Suche aufgenommen werden darf.

Laut Google nutzt so gut wie keiner die Anweisungen in der robot.txt. Üblicherweise werden die Anweisungen Noindex und Nofollow primär in jede Seite genutzt und über das Content Management System gesteuert. In der robot.txt werden dafür primär die Anweisungen Allow und Disallow gesetzt, die Google nach wie vor berücksichtigt. Bei Shopsystemen wird gerne mal das Cache Verzeichnis durch eine Noindex Anweisung zusätzlich geschützt.

Sollte bei der ein oder anderen Präsenz die robot.txt dennoch anderes genutzt werden, so gibt Google folgende Empfehlungen:

Die Noindex-Anweisung in den X-Robots-Tag im HTTP-Header oder die Meta Robots-Tags setzen. Das ist auch die übliche Vorgehensweise der meisten Content Management Systeme.

Durch 404- oder 410-Status-Codes wird dem Googlebot vorgegaukelt, dass die Seiten nicht mehr existiert.

Inhalte können durch ein Login/ Passwort geschützt werden.

Disallow in der Robots.txt einsetzen. Dies ist bei 99,99% aller Webseiten - laut Google - bereits der Fall.

Google versendet an Webseiten- / Shop Betreiber gerade E-Mails mit entsprechenden Hinweisen. Bei Kunden, deren Webpräsenz wir betreuen und davon betroffen sind, werden wir automatisch Korrekturen vornehmen.

Wir sind eRecht24 Premium Partner

Um Ihre Internet Präsenz / Shop rechtlich auf den aktuellsten Stand

zu halten, sind wir eine Partnerschaft mit der Anwaltsplattform eRecht 24 eingegangen.

Diese Website benutzt First Party Cookies (Session und Banner), die für den technischen Betrieb der Website erforderlich sind, stets gesetzt werden und nicht bestätigt werden müssen. Andere Cookies, die den Komfort bei Benutzung dieser Website erhöhen (Google Maps), werden an der entsprechende Stelle nur mit Ihrer Zustimmung gesetzt.