Hast du von 1und1 weitergehende Informationen bekommen oder kannst du die besorgen ? Wichtig wären die
logfiles, in denen ein Absturz protokolliert wurde (error.log und access.log). Damit kann man sich erstmal ansehen, was da versucht wurde und Gegenmaßnahmen ergreifen. Die
robots.txt nutzt dir gar nix, denn diese Art von "bad" bots kümmert sich einen "Dreck" um diese Angaben. Deren Ziel ist nur, in den Server einbrechen zu wollen.