ich habe eventuell ein kleines Problem mit meiner robots.txt und hoffe ihr könnt mir weiterhelfen.
Die Google Search Console sagt mir “Indexiert, obwohl durch robots.txt-Datei blockiert” und bei gut etwas über 19.000 Seiten. Nun habe ich den Verdacht, dass ich über die robots.txt irgendwas aussperre, dass Google aber gerne sehen möchte. Dadurch blockiere ich mich eventuell selbst.
Gibt es vielleicht irgendwo die “Standard-Oxid-Robots” zum Download? Ich würde diese gerne mit meiner robots.txt vergleichen. Meine Shopversion wäre CE 4.9.6 sofern die Info wichtig ist.
Puh, ich verwende anscheinend die Konfiguration, die Du eben gepostet hast. Irgendwas mag Google daran also nicht. Darf ich hier im Forum mal die Links posten, die Google bemängelt oder ist das posten von solchen Infos nicht gestattet?
Perfekt, danke für Deine Hilfe. Hier mal ein paar Links:
Mir kommt das ganz komisch vor. Im Link ist immer wieder “mein-konto” zu erkennen und zusätzlich noch irgendwas mit “search”. Kann es sein, dass bei den besagten Seiten im Quellcode vielleicht kein “nofollow” oder “noindex” gesetzt ist?
“Mein Konto” wird verlinkt über die Detailseiten “Auf den Merkzettel”. Die Detailseiten ohne SEO-Url stehen auf “noindex, follow”. Bei “Mein Konto” steht zwar “noindex”, das kann Google aber nicht lesen weil die Seite über robots.txt ausgeschlossen ist, daher wird die Seite indexiert aber ohne Inhalt. Evtl. könnte man den Link zu “loginToNotice” auf den Detailseiten auf “rel=nofollow” setzen.
