XHTMLforum

XHTMLforum (http://xhtmlforum.de/index.php)
-   Serveradministration und serverseitige Scripte (http://xhtmlforum.de/forumdisplay.php?f=80)
-   -   Domain aus Google löschen (http://xhtmlforum.de/showthread.php?t=59608)

andre-ne 22.12.2009 19:28

Domain aus Google löschen
 
Hallo!
Ich möchte meine Domain/Seite komplett aus Google löschen.
Laut Google soll man dies mit der "robots.txt" mit dem "Löschcode" machen der auf deren Internetseite steht, dies habe ich auch so gemacht, jedoch ohne Erfolg. Ich habe seit mehr als vier Wochen den "Löschcode" eingetragen, jedoch taucht meine Domain/Seite immer noch auf und der Robot hat schon mehrere male wieder "vorbei geschaut".

Was kann ich nun noch machen?

Pablo 22.12.2009 19:44

Zeig mal deine robots.txt
Liegt die Datei auch im richtigen Verzeichnis?
Zusätzlich: Über die google webmaster tools kannst du eine schnellere Löschung beantragen. Hilfe dazu findest du in der Hilfe :P Einfach mal googlen.

andre-ne 22.12.2009 19:51

In meiner robots.txt steht folgendes drin
Code:

User-agent: *
Disallow: /

Und die Datei liegt im root-Verzeichnis.

Gruß
André

S!mon 22.12.2009 21:49

Hallo,

dein robots.txt ist meiner Meinung nach richtig um das Crawlen zu verhindern.
Der google-bot wird immer wieder vorbeischaun um die robots.txt auszulesen und ggf. Unterseiten zu crawlen.
Ich denke hier liegt das Missverständnis - der Bot kommt immer wieder um zu schauen ob sich was verändert hat - in deinem Fall eben nur die robots.txt.
Das er die Domain gar nicht mehr ansteuert kannst du nicht verhindern.

Um ganz sicher zu gehen kannst du mit einem 403er (also Not Allowed und das eben eingeschränkt auf die IP-Ranges von google oder auf den User-Agent vom google-bot) arbeiten.


Hinzu kommt, dass sich einmal indizierte Seiten nicht so leicht wieder aus dem Index löschen lassen. Man brauch nur mal beobachten nach wie viel Jahren die Bots noch Seiten crawlen wollen die 404 oder 410 sind.
Im google webmaster-tools gibt es unter Website-Konfiguration -> Crawler-Zugriff die Option Seite löschen - allerdings klappt das auch nicht immer.


Grüße Simon

andre-ne 22.12.2009 23:04

Super, das ist eine ausführliche Erklärung, jedoch habe ich nun das Problem, dass ich nicht weiß wie ich das ganze umsetzen muss?
Bei diesen Google Webmaster-Tools bin ich gar nicht angemeldet für.

Gruß
André

andir 23.12.2009 11:26

Evtl. lohnt sich eine Anmeldung für spätere Projekte.

Solange heißt es aber auch Geduld haben. Googles Server stehen überall und bis alle auf dem neuen Stand sind kann es ein paar Wochen bis Monate dauern.

Sollten schon Backlinks vorliegen, kann es nochmal etwas länger dauern - Im Idealfall "säubert" man also die alten Inhalte, sprich, zieht die Inhalte auf einen Unterordner /anderen Ordner um (der natürlich vom globalen disallow profitiert). Dann kann man auch über alte externe Links nicht mehr ohne weiteres auf deine Inhalte zugreifen, wenn bei einem 404er oder einem externen Link nur noch eine weiße Seite erscheint :)

andre-ne 23.12.2009 17:32

Könnte ich den Google-Bot auch mithilfe der .htaccess Datei blocken?
Wenn ja, hat jemand den richtigen Code dafür?

Gruß
André

Pablo 23.12.2009 17:58

Dann sieht er nicht mehr, dass er explizit weg soll.

andre-ne 23.12.2009 18:02

Das wäre mir doch egal, ich will damit auch nur erreichen das wenn man "mich" googlet, ich einfach nicht mehr gefunden werde und normalerweise löscht Google tote Adressen was am Ende der Fall sein müsste :roll:

overflow 02.01.2010 15:09

User-agent: Googlebot
Disallow: /

Blockier doch nur den Zugriff für den googlebot einfach in der robots.txt.
Das müsste für deine Wünsche reichen.


Ich würde aber versuche googlebot über den user agent zu sperren:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Googlebot
RewriteRule ^.*$ - [F]

Müsste so funktionieren


Alle Zeitangaben in WEZ +2. Es ist jetzt 08:30 Uhr.

Powered by vBulletin® Version 3.8.11 (Deutsch)
Copyright ©2000 - 2021, vBulletin Solutions, Inc.

© Dirk H. 2003 - 2020