1. Herzlich willkommen bei WPDE.org, dem grössten und ältesten deutschsprachigen Community-Forum rund um das Thema WordPress. Du musst angemeldet oder registriert sein, um Beiträge verfassen zu können.
    Information ausblenden

robots.txt

Dieses Thema im Forum "Konfiguration" wurde erstellt von proqd, 13. Dezember 2017.

Schlagworte:
  1. proqd

    proqd Well-Known Member

    Registriert seit:
    20. Mai 2017
    Beiträge:
    78
    Zustimmungen:
    1
    robots.txt

    Ich habe folgende Info:

    Ein Problem, womit viele Webmaster zu kämpfen haben, ist wenn SSL installiert ist und die Seiten über HTTP und HTTPS erreichbar sind. Hier benötigt man zwei getrennte Versionen des Dokuments. Jeweils eine, die unter http://www.domain.de/robots.txt und unter https://www.domain.de/robots.txt abgelegt ist.

    Nun die Frage:
    Wie sind die beiden robots.txt Dateien praktisch voneinander zu trennen? Ich habe trotz https nur ein Server Verzeichnis für die Dateien der Webseite.

    -----------------------

    2. Teil

    Das Ausschließen von Verzeichnissen von der Indexierung wird nicht von jedem BOT akzeptiert.
    Wird der Googlebot und alle anderen Bots diese Funktion auch dann unterstützen, wenn der Befehl den BOT nicht direkt anspricht und der Befehl in der robots.txt nicht:

    User-Agent: Googlebot
    Disallow: /verzeichnis*/

    sondern:

    User-Agent: *
    Disallow: /verzeichnis*/

    lautet?
     
  2. Hille

    Hille Well-Known Member

    Registriert seit:
    22. Januar 2012
    Beiträge:
    7.965
    Zustimmungen:
    9
    Warum sollte man 2 robots.txt benötigen? Wenn du ne Weiterleitung von http auf https drin hast, werden Inhalte immer per https ausgegeben.
     
  3. danielgoehr

    danielgoehr Well-Known Member

    Registriert seit:
    13. Juli 2016
    Beiträge:
    2.674
    Zustimmungen:
    128
    Ist das denn der Fall? Wenn ja, warum?
     
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden