Blockierte URLs durch rorbots.txt

Hallo,

im Google WMT erscheint die Warnung das 4000 URLs durch die robts.txt blockiert werden.

Sitemap enthält URLs, die von der “robots.txt”-Datei blockiert werden.
4.063
Wert: xxxxx/out/pictures/master/category/thumb/xxx.jpg

Ob die Thumbs jetzt kriegsentscheidend sind, sei mal dahin gestellt. Aber ich ich finde in meiner robots nicht wirklich einen Eintrag der dies blockiert!? Hat jemand den entscheidenden Hinweis?

User-agent: *
Disallow: /admin/
Disallow: /core/
Disallow: /tmp/
Disallow: /views/
Disallow: /setup/
Disallow: /log/

Disallow: /newsletter/
Disallow: /en/newsletter/
Disallow: /index.php?cl=newsletter

Disallow: /agb/
Disallow: /en/terms/

Disallow: /warenkorb/
Disallow: /en/cart/
Disallow: /index.php?cl=basket

Disallow: /mein-konto/
Disallow: /en/my-account/
Disallow: /index.php?cl=account

Disallow: /mein-merkzettel/
Disallow: /en/my-wishlist/
Disallow: /index.php?cl=account_noticelist

Disallow: /mein-wunschzettel/
Disallow: /en/my-gift-registry/
Disallow: /index.php?cl=account_wishlist

Disallow: /konto-eroeffnen/
Disallow: /en/open-account/
Disallow: /index.php?cl=register

Disallow: /passwort-vergessen/
Disallow: /en/forgot-password/
Disallow: /index.php?cl=forgotpwd

Disallow: /index.php?cl=moredetails

Disallow: /index.php?cl=review

Disallow: /index.php?cl=search

Disallow: /EXCEPTION_LOG.txt

wildcards at the end, because of some crawlers see it as errors

Disallow: /?cl=newsletter
Disallow: /
&cl=newsletter

Disallow: /?cl=basket
Disallow: /
&cl=basket

Disallow: /?cl=account
Disallow: /
&cl=account

Disallow: /?cl=account_noticelist
Disallow: /
&cl=account_noticelist

Disallow: /?cl=account_wishlist
Disallow: /
&cl=account_wishlist

Disallow: /?cl=register
Disallow: /
&cl=register

Disallow: /?cl=forgotpwd
Disallow: /
&cl=forgotpwd

Disallow: /?cl=moredetails
Disallow: /
&cl=moredetails

Disallow: /?cl=review
Disallow: /
&cl=review

Disallow: /?cl=search
Disallow: /
&cl=search

Disallow: /&fnc=tobasket
Disallow: /
&fnc=tocomparelist
Disallow: /*&addcompare=

Disallow: //sid/
Disallow: /
?sid=
Disallow: /*&sid=

Disallow: /?cur=
Disallow: /
&cur

Klick im WMT einfach auf das Test Tool für robots.txt und füge dort die blockierte URL ein

Hmm, zeigt mir grün und “allow”…gleichzeig 4.000 Fehler:face_with_raised_eyebrow:

Tauchen da 4000 verschiedene Bilder auf oder immer ein Bild mehrmals?

Mir werden nur 3 Beispiele angezeigt. Bei den Beispielen handelt es sich um unterschiedliche Bilder.

Sehe aber gerade “erkannt 13. Feb. 2017”. Möglicherweise besteht das Problem gar nicht mehr. Aber so gaaaanz langsam könnte das dann ja mal aktualisiert werden.

Ich hätte die verschiedenen Session IDs im Verdacht gehabt, so dass die Inhalte durch die letzte robots.txt Regel vielleicht blockiert werden. Aber Februar 2017 ist echt lange her, ich würde mal das Problem als gelöst markieren und dann die Seite erneut indexieren lassen (muss man manuell anstoßen)
Wenn es nicht erneut auftaucht, dann wars nur vorübergehend.

Die Warnung taucht im WMT—>Crawling—>Sitemaps auf. Dort sehe ich keine Möglichkeit etwas als gelöst zu markieren.