Einzelnen Beitrag anzeigen
  #2 (permalink)  
Alt 21.06.2017, 10:39
Benutzerbild von protonenbeschleuniger
protonenbeschleuniger protonenbeschleuniger ist offline
Verbesserer
XHTMLforum-Kenner
 
Registriert seit: 06.09.2007
Beiträge: 4.977
protonenbeschleuniger ist ein wunderbarer Anblickprotonenbeschleuniger ist ein wunderbarer Anblickprotonenbeschleuniger ist ein wunderbarer Anblickprotonenbeschleuniger ist ein wunderbarer Anblickprotonenbeschleuniger ist ein wunderbarer Anblickprotonenbeschleuniger ist ein wunderbarer Anblickprotonenbeschleuniger ist ein wunderbarer Anblick
Standard

Ich hab für so was das in der robots.txt stehen:
Code:
User-agent: *
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.pdf$
Also dein erster Vorschlag sollte funktionieren.

Wo siehst du den Unterschied zum crawlen und aufnehmen in einen Index?
Um in einen Index aufgenommen zu werden, muss ein Inhalt "gecrawlt" werden. Aber diese Regeln sind tatsächlich nur eine Empfehlung an die sich die "höflichen" Robots halten.

Ein wirkliches sperren von Robots ist nicht wirklich möglich. Auch die Methode per header ist nur eine Empfehlung an die sich aber alle grossen Suchmaschinen halten und daher sollte es reichen um nicht in den Index aufgenommen zu werden.
Mit Zitat antworten
Sponsored Links