1. Herzlich willkommen bei WPDE.org, dem grössten und ältesten deutschsprachigen Community-Forum rund um das Thema WordPress. Du musst angemeldet oder registriert sein, um Beiträge verfassen zu können.
    Information ausblenden

Crawler crawlt zu oft

Dieses Thema im Forum "Konfiguration" wurde erstellt von Robbi, 26. Mai 2020.

  1. Robbi

    Robbi Well-Known Member

    Registriert seit:
    12. September 2005
    Beiträge:
    363
    Zustimmungen:
    4
    Hallo,
    ich habe ein merkwürdiges Problem: Eine meiner Websites wird von einem Google-Bot ständig gecrawlt. Und ständig heißt wirklich sehr oft, mehrere Stunden am Tag. Dabei gibts dafür keinen Grund, es kommen nur 2 bis 3 mal pro Woche neue Texte.
    Pro Tag fallen so 4 bis 6 GB Traffic an, was völlig unnötig ist und den armen Server auch verlangsamt.
    Bei Google selber kann man aber nur die Frequenz der Indizierung der einzelnen Seiten einstellen, nicht wie oft der Bot anklopft. Es nutzt also nicht viel, wenn ich das auf z.B. 1 Seite pro Sekunde reduziere.
    Kennt jemand das Problem und noch besser eine Lösung dafür? Ich will Google deswegen ja nicht gleich komplett ausschließen.
     
  2. r23

    r23 Well-Known Member

    Registriert seit:
    9. Dezember 2006
    Beiträge:
    7.317
    Zustimmungen:
    582
    Du kannst dich an Google wenden

    Hier der Link
    https://support.google.com/webmasters/answer/48620
     
  3. Robbi

    Robbi Well-Known Member

    Registriert seit:
    12. September 2005
    Beiträge:
    363
    Zustimmungen:
    4
    Aber auf dieser Seite finde ich leider keine Möglichkeit zum Kontakt.
    Leider steht da auch: "Sie können nicht ändern, wie oft Ihre Website gecrawlt wird." Aber das ist genau das, was ich brauche. Mist :(
    Aber danke!
     
  4. b3317133

    b3317133 Well-Known Member

    Registriert seit:
    21. November 2014
    Beiträge:
    11.634
    Zustimmungen:
    1.778
    Tipp: Lies mal den Rest der Seite.
     
  5. r23

    r23 Well-Known Member

    Registriert seit:
    9. Dezember 2006
    Beiträge:
    7.317
    Zustimmungen:
    582
    Ich lese mal vor:

    Wenn Ihre Crawling-Frequenz als "berechnete Optimalfrequenz" gekennzeichnet ist, kann die Crawling-Frequenz nur verringert werden, wenn Sie einen speziellen Antrag stellen. Die Crawling-Frequenz kann nicht angehoben werden.

    klicke einfach auf den Link: einen speziellen Antrag stellen

    oder wende dich an das Support Team von Google => Link oben auf der Seite auf: Community...

    oder lösche das Internet!
     
    Shadow und Gast 100035 gefällt das.
  6. Robbi

    Robbi Well-Known Member

    Registriert seit:
    12. September 2005
    Beiträge:
    363
    Zustimmungen:
    4
    Hallo,
    den Antrag hatte ich gefunden, konnte ihn jedoch nicht abschicken, weil das nur ging, wenn man z.B. die Bot-IPs angeben kann.

    Was willst Du mir damit sagen?
     
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden