Das dürfte zutreffen, wobei ich aber nicht genau verstehe wo der Autor den praktischen Unterschied sieht. Wenn ich den Crawler verbiete ein Dokument zu crawlen, wird es nicht indexiert (hab's vorhin auch ausprobiert, die Bilder der entsprechenden Seite werden von google nicht gefunden).
Wobei aber seine Lösung auch nicht schlecht ist, wenn das dein Server kann, würd ich das auch machen.
|