1. Herzlich willkommen bei WPDE.org, dem grössten und ältesten deutschsprachigen Community-Forum rund um das Thema WordPress. Du musst angemeldet oder registriert sein, um Beiträge verfassen zu können.
    Information ausblenden

robots.txt Date im Verzeichnis hinterlegen - Wer macht mir das?

Dieses Thema im Forum "Jobbörse" wurde erstellt von pinking, 21. Juni 2017.

Schlagworte:
  1. pinking

    pinking Well-Known Member

    Registriert seit:
    20. Dezember 2015
    Beiträge:
    160
    Zustimmungen:
    0
    Meine Seite www.meet-the-philippines.de wird bei Google nur noch fehlerhaft angezeigt. Folgende Seitenbeschreibung erscheint dort:


    "meet-the-philippines.de/
    Die Datei "robots.txt" auf dieser Website lässt nicht zu, dass eine Beschreibung für das Suchergebnis angezeigt wird."


    Im Verzeichnis der Domain gibt es keine robots.txt Datei, die die Suchmaschine interpretieren könnte. Sie müssten diese Datei im Verzeichnis hinterlegen. Eine Anleitung gibts hier: https://support.google.com/webmasters/answer/6062608?hl=de



    Kann mir das jemand machen?
    Vielen Dank im Voraus.

    Oder gibts dafür eine anleitung die man einfacher verstehen kann? Vielen Dank im Voraus.

     
  2. WPExperte

    WPExperte Active Member

    Registriert seit:
    7. Dezember 2011
    Beiträge:
    30
    Zustimmungen:
    0
    Hallo,

    das Problem ist eindeutig. Der Schrägstrich muss weg, sonst darf Google nicht auf die Website zugreifen:

    Bildschirmfoto von »2017-06-22 00-11-35«.png

    Es sieht so aus, als wäre dafür ein Plugin verantwortlich, wenn die Datei auf dem Server nicht vorliegt. Ich kann mich gerne drum kümmern.

    Wenn ich mich drum kümmern soll, dann benötige ich einen Adminzugang zum Blog bzw. auch FTP-/SSH-Zugang.

    Liebe Grüße,
    Igor
     
    #2 WPExperte, 22. Juni 2017
    Zuletzt von einem Moderator bearbeitet: 22. Juni 2017
  3. Hille

    Hille Well-Known Member

    Registriert seit:
    22. Januar 2012
    Beiträge:
    7.965
    Zustimmungen:
    8
    Das bekommst du selber hin. Du legst dir per Editor z.B. Notepad++ eine Datei mit dem Namen robots.txt an. Dort fügst du folgenden Inhalt hinzu und speicherst diesen dann ab

    Code:
    Entschuldige, aber du musst dich registrieren oder anmelden um den Inhalt sehen zu können!
    Nun kopierst du diese Datei per FTP in deine Wordpress Installation. Das ist eine Arbeit von rund 2 Minuten.
     
  4. WPExperte

    WPExperte Active Member

    Registriert seit:
    7. Dezember 2011
    Beiträge:
    30
    Zustimmungen:
    0
    Grundsätzlich hast du mit dem recht, was du geschrieben hast. Das ist aber leider etwas zu kurz gedacht. Denn: Du gehst dabei vom folgenden Szenario aus:

    - Dass erforderliche Schreibrechte beim Hoster vorhanden sind und der/die Nutzer/Gruppen korrekt gesetzt sind
    - Dass er/sie weiß, in welchen Ordner die robots.txt-Datei hochgeladen werden muss (kann unterschiedlich heißen, von www bis hin zu public_html usw.)
    - Dass keines der eingesetzten Plugins die hinzugefügten Anweisungen überschreiben würde
    - Dass Google nicht mehrere Tage, Wochen oder Monate benötigen würde, um die Änderung zu erkennen (man kann Google über die Search Console über die neue robots.txt informieren)

    Des Weiteren hast du hier eine fehlerhafte bzw. nicht sehr sinnvolle robots.txt als Empfehlung angegeben. Zeile 1-9 ist absolut sinnlos. Denn damit sagst du nur "Ok, wenn du der Google Image Bot bist, dann darfst du die Website crawlen". Gleiches gilt für den Google AdSense Bot. Das ist jedoch nicht die Funktionsweise einer robots.txt. In erster Linie spricht man quasi Verbote aus. Denn es wird ohnehin alles gecrawlt. Wenn innerhalb eines Verzeichnisses zum Beispiel ein weiterer Ordner oder Datei ist, die dennoch gecrawlt werden muss, dann spricht man eine explizite Erlaubnis aus. Ebenso ist die letzte Zeile sinnlos.

    Ich wäre vorsichtig bei solchen Empfehlungen. Du vermittelst das Bild, als sei das alles überhaupt und in keinster Weise ein Problem, ohne auf die Bedürfnisse des Nutzers einzugehen. Vielleicht hat der Nutzer Bereiche, die nicht gecrawlt werden sollen, du gehst aber schon im Vorfeld davon aus, dass es schon passen wird. Vor allem schließt du auch noch die Kategorien aus mit deiner empfohlenen robots.txt. Wenn der Nutzer keine optimierten Kategorie-URLs hat, dann führt es dazu, dass er/sie mit seinen/ihren Kategorien nicht mehr gefunden werden kann. Du versuchst ein Problem zu lösen und schaffst dabei weitere Probleme und der Nutzer wundert sich, warum noch weitere Probleme auftreten ;)

     
    #4 WPExperte, 22. Juni 2017
    Zuletzt bearbeitet: 22. Juni 2017
  5. Hille

    Hille Well-Known Member

    Registriert seit:
    22. Januar 2012
    Beiträge:
    7.965
    Zustimmungen:
    8
    Das man die robots.txt entsprechend erweitern kann, ist schon klar. In erster Linie geht es bei meinem Beispiel um eine "normale" Wordpress Anwendung. Genau da passt mein Beispiel problemlos. Eventuell wäre es ja für den TS sinnvoll gewesen, erst im Forum zu fragen, bevor dann ein Jobanfrage erstellt wird. Ich persönlich bin der Meinung, das man solche Probleme auch ohne einen wpexperten hinbekommt ;).
     
  6. b3317133

    b3317133 Well-Known Member

    Registriert seit:
    21. November 2014
    Beiträge:
    7.322
    Zustimmungen:
    731
    Der aktuelle Inhalt von robots.txt und auch der Meta-Tag "robots" mit "noindex.." auf allen Seiten verbietet jeglicher Suchmaschine eine Aufnahme in deren Index.

    Wahrscheinlich ist in WordPress unter "Einstellungen -> Lesen" die Einstellung "Suchmaschinen davon abhalten, diese Website zu indexieren." angehakt und/oder in Yoast SEO die Einstellung "Metarobots" entspr. falsch konfiguriert.
     
  7. WPExperte

    WPExperte Active Member

    Registriert seit:
    7. Dezember 2011
    Beiträge:
    30
    Zustimmungen:
    0
    @Hille: Mein Problem ist/war, dass du solchen Leuten wie @pinking ein falsches Bild von solchen Dingen vermittelst. Außerdem ist deine Aussage, dass dein Beispiel problemlos ist schlichtweg falsch. Denn bei einer "normalen" Wordpress Anwendung wird "/category/" als Basis für URLs verwendet (siehe https://www.google.de/search?q=inurl%3A"%2Fcategory%2Fallgemein"+intext%3A"powered+by+wordpress"). Nur wenn /category/ vom Nutzer aus den URLs entfernt wurde, dann stellt es kein Problem dar. Dann ist aber auch diese Anweisung hinfällig. Du bist ja kein Neuling und kennst dich wohl ebenfalls sehr gut mit sowas aus, aber nicht jedem Nutzer sind solche Dinge klar. Ein anderer Nutzer sieht diesen Beitrag und fügt das bei sich ein, weil er/sie ein ähnliches Problem haben und zack "Traffic stagniert". Schließlich hast du klargestellt, dass dies mal eben in 2 Minuten erledigt und es kein Problem sei.

    Und zu deiner Anmerkung: Ja klar, denn du hast ja das Problem ja auch nicht. Und ich hatte ja auch nicht gesagt, dass man dafür einen "WPExperten" braucht, oder? Ich habe direkt einen Lösungsvorschlag geliefert, was das Problem im Hinblick auf die robots.txt behoben hätte. Und wie @b3317133 schon schrieb, es kann auch noch andere Ursachen haben. Deshalb war die Angabe "das dauert nur 2 Minuten" völliger Quatsch.

     
  8. b3317133

    b3317133 Well-Known Member

    Registriert seit:
    21. November 2014
    Beiträge:
    7.322
    Zustimmungen:
    731
    Ja, denn die Lösung des Problems dauert vermutlich keine 30 Sekunden...
     
  9. Hille

    Hille Well-Known Member

    Registriert seit:
    22. Januar 2012
    Beiträge:
    7.965
    Zustimmungen:
    8
    Logisch, irgendwie musste ja deine Stunde Arbeitszeit begründen können. Ich bleibe aber dennoch bei meiner Aussage.
     
  10. WPExperte

    WPExperte Active Member

    Registriert seit:
    7. Dezember 2011
    Beiträge:
    30
    Zustimmungen:
    0
    Wer hat denn von einer Stunde geredet? Einfach mal irgendwas unterstellen, um von eigenen Fehlern abzulenken? Es mag sein, dass ihr euch mit WordPress gut auskennt, aber von SEO habt ihr offensichtlich absolut keine Ahnung. Selbst für den allergrößten SEO-Experten ist diese Aufgabe weder in <30 Sekunden, noch in 2 Minuten gelöst. Es sei denn, man klatsch einfach etwas rein, wie oben in deiner robots.txt schön zu sehen ist ;) Ich hatte ursprünglich von 5-15 Minuten gesprochen, also brauchst du mir keine Worte in den Mund zu legen...
     
  11. b3317133

    b3317133 Well-Known Member

    Registriert seit:
    21. November 2014
    Beiträge:
    7.322
    Zustimmungen:
    731
    Die Frage für einen SEO Experten hier ist, warum steht da disallow und warum sind alle Seiten mit "meta robots noindex" versehen. Als WordPress Experte weiss man, dass man bei WordPress keine eigene "echte" robots.txt Datei benötigt, weil diese je nach Einstellung eines Häckchens im Backend über einen "virtuellen Link" von WordPress selbst generiert und über einen Filter ggf. ergänzt/geändert werden kann. Das Häckchen beeinflusst auch die meta robots Angabe im HTML jeder Seite.

    Und um ein Häckchen im Backend zu entfernen sollte man wirklich keine 30 Sekunden brauchen...
     
  12. WPExperte

    WPExperte Active Member

    Registriert seit:
    7. Dezember 2011
    Beiträge:
    30
    Zustimmungen:
    0
    Ja, natürlich hast du recht mit dem, was du um 17:04 Uhr geschrieben hast. Doch schaue dir doch mal die Antwort von @Hille an. Und schau dir vorher meine Antwort an ;) Ich habe lediglich die Ursache genannt, damit der Verfasser des Beitrags weiß, woran das liegt. Gleichwohl habe ich geschrieben, dass ich einen Adminzugang benötigen würde, um genau diese Option zu checken. Ja, natürlich kann es sein, dass damit das Problem bereits behoben ist. Das stelle ich ja auch gar nicht in Frage. Aber ebenso weiß man - ich wähle mal deine Wortwahl - als "Wordpress Experte" (ich habe deine Anspielung sehr wohl verstanden und ich gehe mal hier nicht näher auf deinen Benutzername ein), dass Plugins ebenfalls dafür verantwortlich sein könnten. Oder dass bereits eine robots.txt vorliegen könnte, deren Schreibrechte allerdings so gesetzt sind, dass zu einem Konflikt kommen könnte. Und um eben all diese Dinge zu prüfen, da bedarf es schon mehr als 30 Sekunden. Mir scheint es, als würde es dir eher darum gehen, wie toll du doch bist und das du es <30 Sekunden schaffen würdest. Nur stelle ich dann die Frage, ob dein Vorgehen wirklich gründlich ist. Ob du dir im Klaren bist, dass es noch andere Ursachen haben kann. Und das nervt mich hier. Insbesondere, dass den Leuten hier ein falscher Eindruck vermittelt wird. Und dann gehen solche Amateure hin und sperren einfach mal alle Kategorien aus per robots.txt. Ein Problem gelöst und gleichzeitig ein neues Problem geschaffen. Nur glücklicherweise hat der Verfasser des Beitrags das Problem konkret nicht. Er hätte dann lediglich eine überflüssige Zeile in der robots.txt. Aber alle anderen Mitglieder, die hier fleißig mitlesen und es dann für "DIE" Lösung halten, die könnten Probleme bekommen. Die Vorgehensweise von @Hille ist einfach grob fahrlässig. Das erklärt auch, warum er Dinge in 2 Minuten lösen "kann". Weil eben nur kurzsichtig gedacht wird. Es ist egal, ob die Anweisungen in der robots.txt korrekt sind oder nicht. Hauptsache einfach hinklatschen und dann sagen können, dass man es ja so schnell hinbekommen würde. Bloß habe ich immer wieder Kunden, die genau solche Probleme haben... Wie auch immer. Für mich ist das Thema hier nicht mehr relevant. Alle haben ihren Standpunkt vertreten und gut ist.
     
  13. Hille

    Hille Well-Known Member

    Registriert seit:
    22. Januar 2012
    Beiträge:
    7.965
    Zustimmungen:
    8
    @"wpexperte" du glänzt hier wirklich mit gefährlichen Halbwissen. Das WordPress eine dynamische robots.txt erstellt ist korrekt. Wenn ich aber dann eine statische robots.txt im Root Verzeichnis anlege, überschreibe ich diese. Dann spielt es überhaupt keine Rolle mehr, ob in den Einstellungen das indexieren erlaubt wurde oder nicht. Im Endeffekt ist somit der Fehler vom TS behoben. Welchen sinnvollen Inhalt die robots.txt erhält, sei mal dahin gestellt. Und das dauert einfach mal nur 2 Minuten.
     
  14. WPExperte

    WPExperte Active Member

    Registriert seit:
    7. Dezember 2011
    Beiträge:
    30
    Zustimmungen:
    0
    Das ist doch genau das, was du anfänglich empfohlen hast (siehe hier). Und nun widersprichst du dir selbst und weißt nicht mal, was du geschrieben/empfohlen hast.

    Ich fasse nochmal zusammen:
    Du bist heute morgen um 06:35 Uhr hingegangen und hast empfohlen den Zugriff auf www._______.de/category/___ für sämtliche Bots zu verweigern, ohne zu wissen, was diese Anweisung eigentlich im Detail macht. Problematisch ist auch, dass es rein gar nichts mit dem Problem des Verfassers zu tun hatte. Es ärgert mich sehr, dass du keinerlei fundierte Kenntnisse zu den Anweisungen innerhalb einer robots.txt-Datei hast. Empfehlungen aussprichst, ohne genau zu wissen, Ob diese Anweisungen sinnvoll oder nicht sinnvoll sin (schließlich bestätigst du das auch noch mit dieser Aussage: "Welchen sinnvollen Inhalt die robots.txt erhält, sei mal dahin gestellt"). Copy & Paste. Fertig. Vollkommen am Thema vorbei. Und dann behaupten, man wüsste Bescheid und würde Probleme in 2 Minuten lösen können. Im Übrigen habe ich ja auch nie behauptet, dass es eine absolut schwierige Sache sein und man dafür mehrere Stunden benötigen würde. Meine ursprüngliche Aussage war, dass es ca. 5-15 Minuten dauern würde. Während ich 5-15 Minuten brauche und die Dinge gründlich angehe, haust du einfach irgendwelche Empfehlungen raus. Das ist überhaupt der Grund, warum ich was auszusetzen hatte an deinen Aussagen.

    Und selbstverständlich möchte man ggf. die robots.txt auch über WordPress bzw. Plugins steuern können. Mit der Standard-Version von WordPress kann man nur den Zugriff auf die Website verbieten, mehr aber auch nicht. Erst mit Plugins kann man weitere Einstellungen vornehmen (z.B. Meta Robots für gewisse Unterseite auf noindex setzen usw.). Es kann aber auch überaus sinnvoll sein, wenn man eine statische robots.txt verwendet, um negative Nebeneffekte zu vermeiden. Zum Beispiel möchte man nicht, dass ein Plugin die robots.txt überschreibt, so dass dann entsprechende Inhalte doch in den Index von Google gelangen. Und solche Dinge passieren leider sehr häufig. Wir sitzen dann da und müssen dann die entsprechenden Inhalte wieder aus dem Index von Google entfernen.

    Wie auch immer. Lass uns hier an dieser Stelle mit der Diskussion aufhören. Das Problem des Verfassers besteht übrigens weiterhin. Da schließe ich mich eher @b3317133 an. Denn das kann tatsächlich schon die Lösung des Problems sein. Mein Problem ist nur, dass er behauptet, dass das Problem tatsächlich schon in 30 Sekunden behoben wäre. Aber grundsätzlich hat er mit seiner Aussage selbstverständlich absolut recht. Die Wahrscheinlichkeit ist sehr groß, dass dies die Ursache ist. Das wäre auch das, was ich als Erstes geprüft hätte. Und mit dieser Diskussion kommt es leider nicht zur Klarheit, sondern zur Verwirrung beim Verfasser und bei anderen Nutzern. Es ist traurig, dass man hier solche Empfehlungen bekommt. Setz dich erstmal mit der robots.txt auseinander, bevor du hier deinen Senf dazu gibst.
     
  15. Hille

    Hille Well-Known Member

    Registriert seit:
    22. Januar 2012
    Beiträge:
    7.965
    Zustimmungen:
    8
    Mit 29 Posts in diesem Forum kann ich leider dein Wissen noch nicht beurteilen, scheint aber nicht doll zu sein [emoji6]. Kannst mich aber gerne in der Zukunft überzeugen.
    Ich kann nicht erkennen, an welcher Stelle ich mir widerspreche?? Mit meinem letzten Post untermaure ich nur meine Aussage der ersten Antworten. Und glaube mir, wenn ich was schreibe, weiss ich auch, was es bedeutet.
    Für mich ist das Thema soweit erst mal beendet.
     
  16. r23

    r23 Well-Known Member

    Registriert seit:
    9. Dezember 2006
    Beiträge:
    4.862
    Zustimmungen:
    103
    Deine hier veröffentlichte robots.txt ist trotzdem Schrott.
     
  17. pinking

    pinking Well-Known Member

    Registriert seit:
    20. Dezember 2015
    Beiträge:
    160
    Zustimmungen:
    0
    Hey.. alles gut :) Es war doch einfacher als gedacht - Dafür ist dann doch kein Job nötig... Die Aufregung ist manchmal halt groß wenn sich so ein kleiner Fehler einschleischt. Sorry !
     
  18. pinking

    pinking Well-Known Member

    Registriert seit:
    20. Dezember 2015
    Beiträge:
    160
    Zustimmungen:
    0
    console new.JPG Irgendwas scheint doch nicht zu klappen - es scheint als würden sich xmlsitemap & yoast gegenseitig bekriegen. Yoast bringt ja auch eine sitemap-Funktion mit. Keine Ahnung welches von beiden zuerst da war und warum die jetzt plötzlich rumzicken (Änderungen durch mich gab es nur mit der robots). Ich hab die sitemap jetzt manuell nochmal aktualisiert aber es bringt nix... Siehe Foto - Vielleicht kann mir nochmal jemand helfen. Würde natürlich dafür bezahlen. Danke an alle
     
    #18 pinking, 23. Juni 2017
    Zuletzt bearbeitet: 23. Juni 2017
  19. pinking

    pinking Well-Known Member

    Registriert seit:
    20. Dezember 2015
    Beiträge:
    160
    Zustimmungen:
    0
    console new.JPG sorry... nochmal das Foto
     
  20. r23

    r23 Well-Known Member

    Registriert seit:
    9. Dezember 2006
    Beiträge:
    4.862
    Zustimmungen:
    103
    du verwendest sehr häufig in deinen Beiträgen
    <meta name="robots" content="noindex,follow,noodp"/>

    wenn du dies nicht selber kannst oder möchtest - erstelle ich dir dies eben - angebot per pn ... aber du hast sicherlich schon viele angebote...
     
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden