1. Herzlich willkommen bei WPDE.org, dem grössten und ältesten deutschsprachigen Community-Forum rund um das Thema WordPress. Du musst angemeldet oder registriert sein, um Beiträge verfassen zu können.
    Information ausblenden

Robotos.txt - Crawling mancher Seiten verhindern

Dieses Thema im Forum "Allgemeines" wurde erstellt von nuss75, 9. Juli 2019.

  1. nuss75

    nuss75 Well-Known Member

    Registriert seit:
    20. Juni 2017
    Beiträge:
    88
    Zustimmungen:
    1
    Hi,

    1:
    Yoast Seo erstellt mir automatisch eine XML Datei, die ich in der Search Engine Console hinterlege. Jedoch möchte ich nicht, dass der Bot einige Links mit in den Index aufnimmt.

    zB. domain.com/author-sitemap.xml
    domain.com/testimonial-sitemap.xml
    domain.com/post-sitemap.xml

    Bei den Verzeichnissen gibt es einige Child Seiten und die möchte ich auch nicht zum Crawlen freigeben. Deshalb sieht meine robots.txt wie folgt aus:

    User-agent: *
    Disallow: /post*/
    Disallow: /testimonial*/
    Disallow: /author*/


    Ist mein Vorgehen so richtig?

    2:

    Ebenso habe ich auf manchen Seiten (strato.de) gelesen das man Dinge wie:
    • Disallow: /wp-admin/
    • Disallow: /wp-includes/
    • Disallow: /wp-content/plugins/
    • Disallow: /wp-content/cache/
    • Disallow: /wp-content/themes/
    ebenso hineinpacken soll? Könnt ihr das auch teilen?
     
  2. r23

    r23 Well-Known Member

    Registriert seit:
    9. Dezember 2006
    Beiträge:
    7.317
    Zustimmungen:
    582
    ich denke ja.



    ja habe ich auch...

    und etwas mehr:

    # disallow all files with ? in url
    Disallow: /*s=*
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$
    Disallow: /*.gz$
    Disallow: /*.wmv$
    Disallow: /*.tar$
    Disallow: /*.tgz$
    Disallow: /*.cgi$
    Disallow: /*.xhtml$
     
  3. nuss75

    nuss75 Well-Known Member

    Registriert seit:
    20. Juni 2017
    Beiträge:
    88
    Zustimmungen:
    1

    Ok, denn eine andere Seite sagt das soll man nicht: http://www.robotstxt.net/wordpress-robotstxt/ scroll zum Seitenende Rote Box.
     
  4. r23

    r23 Well-Known Member

    Registriert seit:
    9. Dezember 2006
    Beiträge:
    7.317
    Zustimmungen:
    582
  5. b3317133

    b3317133 Well-Known Member

    Registriert seit:
    21. November 2014
    Beiträge:
    11.636
    Zustimmungen:
    1.778
    Deaktiviere die entspr. Sitemaps in den Yoast SEO Einstellungen.
     
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden