Einzelnen Beitrag anzeigen
  #3 (permalink)  
Alt 21.06.2017, 10:46
Sabine1 Sabine1 ist offline
Erfahrener Benutzer
XHTMLforum-Mitglied
Thread-Ersteller
 
Registriert seit: 15.09.2015
Beiträge: 159
Sabine1 befindet sich auf einem aufstrebenden Ast
Standard

Zitat:
Zitat von protonenbeschleuniger Beitrag anzeigen
Ich hab für so was das in der robots.txt stehen:
Code:
User-agent: *
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.pdf$
Also dein erster Vorschlag sollte funktionieren.

Wo siehst du den Unterschied zum crawlen und aufnehmen in einen Index?
Um in einen Index aufgenommen zu werden, muss ein Inhalt "gecrawlt" werden. Aber diese Regeln sind tatsächlich nur eine Empfehlung an die sich die "höflichen" Robots halten.

Ein wirkliches sperren von Robots ist nicht wirklich möglich. Auch die Methode per header ist nur eine Empfehlung an die sich aber alle grossen Suchmaschinen halten und daher sollte es reichen um nicht in den Index aufgenommen zu werden.

Danke für deine Antwort und deine Empfehlung!

Zu deiner Frage: auf https://www.weihmann.de/blog/noindex-bilder-dateien/ steht folgendes:
Der weit verbreitete Glauben, dass man den Zugriff durch Suchmaschinen und die Indexierung in der robots.txt verhindern kann, funktioniert an dieser Stelle nicht. Die robots.txt dient der Steuerung des Crawling, aber nicht der Indexierung!

Keine Ahnung, ob das zutrifft oder nicht.
Mit Zitat antworten