Ich hab für so was das in der robots.txt stehen:
Code:
User-agent: *
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.pdf$
Also dein erster Vorschlag sollte funktionieren.
Wo siehst du den Unterschied zum crawlen und aufnehmen in einen Index?
Um in einen Index aufgenommen zu werden, muss ein Inhalt "gecrawlt" werden. Aber diese Regeln sind tatsächlich nur eine Empfehlung an die sich die "höflichen" Robots halten.
Ein wirkliches sperren von Robots ist nicht wirklich möglich. Auch die Methode per header ist nur eine Empfehlung an die sich aber alle grossen Suchmaschinen halten und daher sollte es reichen um nicht in den Index aufgenommen zu werden.