Word-Datei & Google Suche

Generell dazu: Ähnliche vermeintliche Problembeschreibungen wie "Google Bot spidert trotzdem alles" oder "Sperren in robots.txt funktioniert nicht" oder "meta noindex wird nicht beachtet" haben sich hier nach entspr. Analysen immer entweder als syntaktische oder logische Fehler in der robots.txt bzw. falsche oder auch doppelte widersprüchliche meta Angaben im Seiten head und/oder HTTP Headern erwiesen.

 

Arbeitest du bei Google? Bei solcher Sicherheit deiner Meinung solltest du das wohl.
Alle die wie nicht im Google Management arbeiten haben solche Einsicht nicht.
So wie es aussieht haben auch die Google Manager keine sehr tiefe Einsicht in wie ihre Crawler funktionieren.

Wie in https://developers.google.com/search/docs/advanced/robots/robots-faq?hl=de#h17

Wahrscheinlich hat mit immer nicht zu tun.

 

Die robots.txt hat auch nichts mit dem Ausschluss einer Seite aus dem Index zu tun. Sie dient nur zur Steuerung des Zugriffs der Suchmaschinen-Bots auf die Inhalte. Kannst oder willst Du das nicht verstehen?

Wenn ich in der robots.txt Seiten oder Verzeichnisse ausschließe, dann werden sie vom Crawler nicht abgerufen. Daß sie wahrscheinlich aus dem Index entfernt werden, ist nur ein Nebeneffekt.

Zitat aus der Google-Hilfe:

Für "Medien" ist es sogar so, daß diese durch die robots.txt auch tatsächlich aus dem Index ausgeschlossen werden.

Gruß
Ingo