ein Crawler ruft nur die links auf, die irgendwo hinterlegt sind. D.h. also dass dieser Link irgendwo auf deiner Seite versteckt ist.
Schau mal im Webserver Error log nach, da müsste der entsprechende Fehlereintrag sein und dort gibts auch einen “referrer”, d.h. die Seite, die den Fehler verursacht hat. Ich vermute mal, dass diese Seite entweder aufgerufen wurde oder sie diesen Link beinhaltet.
nein, im error.log ist nichts verzeichnet, denn für den Server existiert die Datei oxid.php ja. Der Robot heißt “robot2.acoon.de” und ich bin mir 100%ig sicher, dass ich die AGB nicht mit diesem Pfad intern verlinkt hab. Mag sein, dass die in irgendeinem Shopverzeichnis noch so verlinkt sind - das ist ja die alte Oxid 2.0 - Struktur gewesen.