Mir ist gerade aufgefallen, dass ich keine robots.txt habe. Ist die in heutigen Zeiten noch relevant oder verzichtbar? Wie würde die im Idealfall für einen Oxid CE 4.2 aussehen? Gibt es Bereiche, die möglichst nicht durchsucht werden sollten?
Ich habe eine robots.txt gefunden, wo ich nur meine URL eintragen müsste. Habe ich mal angehängt. Wäre die gut?
Hi,
in dieser robots.txt wird eigentlich nur einer Reihe von User-Agents (Bots) empfohlen das die Seite nicht gecrawled werden soll. Ob diese Bots sich daran halten ist eine andere Geschichte.
Als Schutzmaßnahme ist eine robots.txt ungeeignet, sicherer ist da die Verwendung von .htaccess für die betreffenden Verzeichnisse.
Die wirklich wichtigen Bots wie google, yahoo, bing halten sich an die robots.txt. Allerdings bieten robots.txt auch jedem anderen der danach sucht evtl. Anhaltspunkte wie die “interessanten” Verzeichnisse benannt sind und wo diese zu finden sind.
OK. Meine Bedenken sind ob ich es richtig mache mit dieser Datei. Der Sinn soll ja eigentlich sein, dass der Shop gecrawled werden soll. Die Datei bewirkt also das Gegenteil oder wie?
In den Metatags habe ich bereits drin stehen: “index, follow”. Reicht das aus oder empfiehlt sich zusätzliche eine robots.txt.
Wie müsste die ideale Datei aussehen, damit alle robots den Shop durchsuchen bzw. welche Bereich sollten bei Oxid CE 4.2 möglichst nicht durchsucht werden?
Schau dir doch einfach die robots.txt aus dem Demo-Shop an. Da werden eine ganze Menge Sachen für Suchmaschinen gesperrt. Vor allem Inhalte die für Suchmaschinen auch keinen Sinn machen.
http://demoshop.oxid-esales.com/community-edition/robots.txt
Diese Seiten sollte es in ähnlicher Form auch in Version 4.2 geben.
hier die originale Version der robots.txt aus der 4.2.0 - die liegt direkt im Shop-Root
User-agent: *
Disallow: /admin/
Disallow: /core/
Disallow: /tmp/
Disallow: /views/
Disallow: /setup/
Disallow: /log/
#
Disallow: /newsletter/
Disallow: /en/newsletter/
Disallow: /index.php?cl=newsletter
#
Disallow: /agb/
Disallow: /en/terms/
#
Disallow: /warenkorb/
Disallow: /en/cart/
Disallow: /index.php?cl=basket
#
Disallow: /mein-konto/
Disallow: /en/my-account/
Disallow: /index.php?cl=account
#
Disallow: /mein-merkzettel/
Disallow: /en/my-wishlist/
Disallow: /index.php?cl=account_noticelist
#
Disallow: /mein-wunschzettel/
Disallow: /en/my-gift-registry/
Disallow: /index.php?cl=account_wishlist
#
Disallow: /konto-eroeffnen/
Disallow: /en/open-account/
Disallow: /index.php?cl=register
#
Disallow: /passwort-vergessen/
Disallow: /en/forgot-password/
Disallow: /index.php?cl=forgotpwd
#
Disallow: /index.php?cl=moredetails
#
Disallow: /index.php?cl=review
#
Disallow: /index.php?cl=search
#
Disallow: /EXCEPTION_LOG.txt
#
# wildcards at the end, because of some crawlers see it as errors
Disallow: /*?cl=newsletter
Disallow: /*&cl=newsletter
#
Disallow: /*?cl=basket
Disallow: /*&cl=basket
#
Disallow: /*?cl=account
Disallow: /*&cl=account
#
Disallow: /*?cl=account_noticelist
Disallow: /*&cl=account_noticelist
#
Disallow: /*?cl=account_wishlist
Disallow: /*&cl=account_wishlist
#
Disallow: /*?cl=register
Disallow: /*&cl=register
#
Disallow: /*?cl=forgotpwd
Disallow: /*&cl=forgotpwd
#
Disallow: /*?cl=moredetails
Disallow: /*&cl=moredetails
#
Disallow: /*?cl=review
Disallow: /*&cl=review
#
Disallow: /*?cl=search
Disallow: /*&cl=search
#
Disallow: /*&fnc=tobasket
Disallow: /*&fnc=tocomparelist
Disallow: /*&addcompare=
#
Disallow: /*/sid/
Disallow: /*?sid=
Disallow: /*&sid=
#
Disallow: /*?cur=
Disallow: /*&cur
Disallow: /admin/
Disallow: /core/
Disallow: /tmp/
Disallow: /views/
Disallow: /setup/
Disallow: /log/
Hi,
sowas gehört meiner Meinung nach nicht in die robots.txt - die Verzeichnisse mittels .htaccess schützen, und somit auch für Bots unzugänglich machen, ist glaube der bessere weg, man muss ja nicht potentielle Angreifer direkt mit der Nase auf die interessanten Verzeichnisse stoßen.
Ein potentieller Angreifer, der ein wenig Ahnung hat, schaut sich vorher einfach das eingesetzte Shopsystem an und stimmt seinen Angriff darauf ab. Egal ob htaccess oder nicht.
Die robots.txt ist ja keine Security-Tool, sondern solll ja eigentlich nur verhindern, das Dinge in den Suchmaschinen auftauchen die dort keinen Sinn machen.