Hallo,
im Google WMT erscheint die Warnung das 4000 URLs durch die robts.txt blockiert werden.
Sitemap enthält URLs, die von der “robots.txt”-Datei blockiert werden.
4.063
Wert: xxxxx/out/pictures/master/category/thumb/xxx.jpg
Ob die Thumbs jetzt kriegsentscheidend sind, sei mal dahin gestellt. Aber ich ich finde in meiner robots nicht wirklich einen Eintrag der dies blockiert!? Hat jemand den entscheidenden Hinweis?
User-agent: *
Disallow: /admin/
Disallow: /core/
Disallow: /tmp/
Disallow: /views/
Disallow: /setup/
Disallow: /log/Disallow: /newsletter/
Disallow: /en/newsletter/
Disallow: /index.php?cl=newsletterDisallow: /agb/
Disallow: /en/terms/Disallow: /warenkorb/
Disallow: /en/cart/
Disallow: /index.php?cl=basketDisallow: /mein-konto/
Disallow: /en/my-account/
Disallow: /index.php?cl=accountDisallow: /mein-merkzettel/
Disallow: /en/my-wishlist/
Disallow: /index.php?cl=account_noticelistDisallow: /mein-wunschzettel/
Disallow: /en/my-gift-registry/
Disallow: /index.php?cl=account_wishlistDisallow: /konto-eroeffnen/
Disallow: /en/open-account/
Disallow: /index.php?cl=registerDisallow: /passwort-vergessen/
Disallow: /en/forgot-password/
Disallow: /index.php?cl=forgotpwdDisallow: /index.php?cl=moredetails
Disallow: /index.php?cl=review
Disallow: /index.php?cl=search
Disallow: /EXCEPTION_LOG.txt
wildcards at the end, because of some crawlers see it as errors
Disallow: /?cl=newsletter
Disallow: /&cl=newsletterDisallow: /?cl=basket
Disallow: /&cl=basketDisallow: /?cl=account
Disallow: /&cl=accountDisallow: /?cl=account_noticelist
Disallow: /&cl=account_noticelistDisallow: /?cl=account_wishlist
Disallow: /&cl=account_wishlistDisallow: /?cl=register
Disallow: /&cl=registerDisallow: /?cl=forgotpwd
Disallow: /&cl=forgotpwdDisallow: /?cl=moredetails
Disallow: /&cl=moredetailsDisallow: /?cl=review
Disallow: /&cl=reviewDisallow: /?cl=search
Disallow: /&cl=searchDisallow: /&fnc=tobasket
Disallow: /&fnc=tocomparelist
Disallow: /*&addcompare=Disallow: //sid/
Disallow: /?sid=
Disallow: /*&sid=Disallow: /?cur=
Disallow: /&cur