Zitat Zitat von Benzli Beitrag anzeigen
WP hat das schon seit langem von Haus aus. Aber zumindest bei mir steht das es Sache der Suchmaschine ist dies zu akzeptieren oder zu ignorieren.
Da wird der Eintrag im robots.txt wohl auch nichts machen können wenn die Suchmaschine dies ignoriert.


Ich denke jemand der frisch eine Website aufbaut, der hat kein Problem wenn eine Weile eine noch nicht fertige Website Online ist oder eben eine im Wartungsmodus. Doch für jemanden der eine bestehende Seite umbauen will, für den ist es ein Problem.
Aber das hatte ich ja schon in meinem eigenen Thread angesprochen......

Was das Problem der Indexierung ist solange die Website noch im Aufbau ist kann ich auch nicht sagen. Hätte doch eigentlich Vorteile, da ja die Suchmaschinen eine Weile brauchen bis sie damit fertig sind
Wenn eine Webseite im Index eingeschrieben wird; mit allen Seiten die der Crawler vorgefunden hat, dann wird ein Schnitt gezogen und errechnet was an Content im Durchschnitt vorliegt (wahrscheinlich sehr vereinfacht ). Einfache Rechnung: 5 Seiten Content und 25 Seiten davon sind leere Seiten oder themenfremde etc. so gibt dann einen schlechten Durchschnitt. Das gleiche passiert in allen anderen CMS.

Es gibt ein Menge an Leuten die sich daran versuchen eine Webseite zu bauen. Einige davon wagen es sogar zu fragen.

Der Robots.txt wird nicht ignoriert wobei ich bei dem Meta Tag nofollow nicht so sicher bin.
Zitat Zitat von stackoverflow
While Google won't crawl or index the content blocked by robots.txt, we might still find and index a disallowed URL from other places on the web. As a result, the URL address and, potentially, other publicly available information such as anchor text in links to the site can still appear in Google search results. You can stop your URL from appearing in Google Search results completely by using other URL blocking methods, such as password-protecting the files on your server or using the noindex meta tag or response header.
Nicht alles was "Google" so gesagt hat trifft auch immer zu. Außerdem gibt es ja auch noch andere Suchmaschinen. Bing, Yahoo, Yandex, DDG, etc.