Was gehört in die robots.txt?

Keine Antwort auf deine Frage aber nur kurz: Eigentlich kein Problem, weil ohne Passwort kommt eh niemand in deinen Adminbereich und wenn du die Möglichkeit nicht per Admin erlaubst, kann sich auch niemand einfach so registrieren.

 

Impressum von Indexierung ausschließen

Mich würde interessieren, wie ich mein Impressum von der Indexierung durch Google ausschließen kann. Ich habe es als »statische Seite« eingebaut. Es geht nur um den Ausschluss dieser einzigen Seite. Wie muss die betreffende Zeile in der Datei »robots.txt« lauten?

 

Googlesuche: robots.txt seiten ausschließen

Antwortlink: http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

Sehr interessant

Gruß,

Marc

 

ich verstehe nicht so ganz wo du da ein problem hast

1) das indexieren kannst du am besten damit verhindern, dass du sie nicht verlinkst, dein login wirst du ach so finden, liegt ja eh immer unter /wp-admin/

2) wenn es dir um sicherheit geht, würde ich dir empfehlen dein /wp-admin/ verzeichnis mit einem passwort zu schützen
habe es noch nie bei wordpress gemacht, keine ahnung, ob das seiteneffekte hat

 

Ein Tipp zum Validieren der robots.txt: http://tool.motoricerca.info/robots-checker.phtml

 

google kümmert sich ohnehin herzlich wenig um die robot.txt

 

das kann ich nicht bestätigen,
jede meiner robots.txt Dateien wurde immer noch von Google respektiert.

lg
Monika

 

dann hast du glück. verlassen kann man sich darauf aber in keinem fall. google nimmt auch permanent änderungen an den eingesetzten verfahren vor, die niemand zu 100% durchschaut.
außerdem gibt es ja nicht nur google.

 

robots.txt

Hallo MCardy,

Danke, dass du mir die Suche über Google abgenommen hast. Meine »robots.txt«-Datei hat jetzt den folgenden

Code:

Entschuldige, aber du musst dich registrieren oder anmelden um den Inhalt sehen zu können!

Hallo alternative4,

Es gibt schon Pläne für eine europäische Google-Konkurrenz.

 

Hallo Finanzen Tomate,

ja das wird auch zeit. ich selber fahre z.b. zur zeit mit msn wesentlich besser als mit google.

google übertreiben es in letzter zeit doch sehr mit ihrem monopol denken.

 

Google erkennt übrigens die robots.txt an.

http://www.google.com/intl/de/webmasters/bot.html

Nofollow natürlich auch:

 

hallo!

gibt es sowas wie eine 'optimale' robots.txt?

ich möchte alle gängigen suchmaschinen aussperren. natürlich auch gerne 'böse' crawler/spider. die sind für mich aber nicht in erster linie wichtig, scheint wohl auch nicht allzu einfach zu sein. mir geht es vor allem darum, die großen, populären suchmaschinen auszusperren (google, yahoo, msn und konsorten).

bloglistings können eigentlich gerne drinbleiben. soweit ich das ganz ganze thema verstanden habe, müsste ich dafür ja alle trackbacks/pingbakcs und den update service deaktivieren, die ich aber eigentlich beibehalten möchte für verlinkungen mit anderen blogs.
kann man das ganze nicht auch über ein plugin lösen, bspw. eins, das die robots.txt verwaltet und aktuell hält???

 

Also meiner Meinung nach wirst du die grossen Suchmaschinen nicht aussperren können.
Jeder Link zu deiner Seite, egal wo er auftaucht, ob hier im Forum oder in den Bloglisten, führt Suchmaschinen zu deiner Seite, sofern diese Seiten von Suchmaschinen gecrawlt werden.

Du kannst es natürlich über die robots.txt versuchen:

Code:

Entschuldige, aber du musst dich registrieren oder anmelden um den Inhalt sehen zu können!

Und dann natürlich noch in deiner index.php im header bereich

Code:

Entschuldige, aber du musst dich registrieren oder anmelden um den Inhalt sehen zu können!

So das ist alles was mir dazu einfällt Viel Glück !

Grüße Blackstar

 

das war alles, nur die paar zeilen?

 

JA, das ist alles.

# No robot will spider the domain
User-agent: * bedeutet alle spiders
Disallow: / bedeutet alles verboten

Ziemlich einfach oder

 

hält mir das auch google, yahoo, msn etc. vom hals?
nach allem, was ich bisher gelesen habe, dachte ich das wär alles viel schwieriger...

 

Ja, manchmal sind Dinge wirklich einfach. Ist nur die Frage ob sich die spiders auch da dran halten .....

 

aber die suchmaschinen tun es, oder?

 

Das kann ich dir nicht beantworten!
Generiere einfach mal eine robots.txt wie oben beschrieben und schau deine Statistiken an ob Google und Konsorten noch vorbeischauen ....

Warum willst du die eigentlich fernhalten? Das habe ich noch nicht ganz kapiert.