Ich möchte wirklich mal wissen was man sich dabei gedacht hat: damit ein Umstieg von einem 3er auf einen 4er Oxid auch von Google problemlos mitgetragen wird, hat man es so gemacht, dass die alten 3er URLs brav auch im 4er funktionieren. Als canonical URL wird Google dann die neue URL mitgeteilt.
Im 3er sah die klassische URL eines Artikels etwa so aus: http://www.meinshop.de/oxid.php/sid/x/shp/oxbaseshop/cl/details/anid/oxid_des_Artikels
NUR: dann liefert Oxid eine robots.txt aus, in der diese wundervoll durchdachte Funktion wieder abgeschnitten wird:
Disallow: //sid/
Disallow: /?sid=
Disallow: /*&sid=
Der Zugriff auf die bereits indexierten Artikel URL des 3er mit …/sid/x… wird also nicht zugelassen, somit auch keine Mitteilung der neuen URL, und somit auch keine Neuindexierung der Seiten.
In den Google WT sieht das Ganze dann aus wie im Anhang.
Ich verliere wirklich langsam das Vertrauen! Solche Fehler dürfen einfach nicht passieren!
In deinem Fall als Umsteiger von der 3er auf die 4 ist das natürlich blöd.
Rein aus Sicht eines 4er Shops ist das aber ok. Bei mir werden eigentlich nur “korrekte (nicht für Google geeignete URL)” rausgefiltert. Auf den ersten Blick würde ich sagen, dass es passt.
Deine 1600 per Robots.txt gesperrten Seiten sind meiner Meinung nach nicht schlimm. Das muss sogar so sein. Bei mir sind steht da:
URLs anzeigen: Durch robots.txt gesperrt (23.599) : Nicht gefunden (125)
Alle gesperrten Seiten sehen aber für mich ok aus, da ja Sachen wie cl=search , sid und curl gerade nicht in Google erscheinen sollen.
Die pro Tag gecrawlten Seiten sagen auch noch nichts darüber aus, wie deine Seiten bei Google gerankt werden. Hier würde ich eher auf ein Problem in der Google - Sitemap tippen. Da kann man ja angeben, wie oft Google die Seite absuchen soll. Vergleich doch mal deine alten Sitemap mit deiner neuen, wenn du schon eine für die 4er hast.
[QUOTE=Firefax;37984]
Deine 1600 per Robots.txt gesperrten Seiten sind meiner Meinung nach nicht schlimm. Das muss sogar so sein.
[/QUOTE]
Das ist nicht korrekt.
Denn dem Crawler soll ja beim Aufruf der alten URL per Redirect mitgeteilt werden, dass es die alte URL nicht mehr gibt. Wenn der Aufruf der alten URL per robots.txt gesperrt wird, kann die neue/geänderte URL nicht mitgeteilt werden. Der Crawler fängt also von vorne an und findet haufenweise “neue” URLs.
Wenn ich das richtig verstanden habe, wurden auch die alten URLs ohne SID in die oxseohistory übernommen und sollten somit sauber mit 301 auf die neuen URLs umgeleitet werden.
Die URL der Artikel in 3er Shops war doch auch ohne /sid/x/ erreichbar und indexiert.
In Google wurde der 3er immer mit /sid/x/ indexiert. Das war die Standardeinstellung im Admin, das so an Google ausgeliefert wird (im Admin konnte man die ganzen Crawler eintragen). Schau Dir mal einen 3er in Google mit site:www.domain.de an, alles mit /sid/x.
Und genau für diese Standard-URL wird der Zugriff (und damit die Mitteilung eines 301er mit neuer URL) an Google unterdückt.
Stimmt. Ich hab die Anleitungen zum Upgrade durch einen entsprechenden Kommentar ergänzt und angeregt, dass wir dem Upgrade-Package eine abgeänderte robots.txt und eine entsprechende Information beilegen.
du sprichst mir aus der Seele. Das gleiche Problem hatten wir auch. Unser Crawling-Statistik sah genau so aus nach der Umstellung von der 3er auf die 4er (27.12.2010). Wir waren mit unseren Keywords bei der 3er auf Seite 1 gelistet und jetzt sind wir nach der Umstellung weg vom Fenster!!!:mad: Kannst du mir mitteilen ob, daß löschen der besagten Zeilen in der robots.txt bei dir geholfen hat?Muß in der .htaccess was geändert werden
:mad:Wir haben einen Umsatzeinbruch von 60%!!! :mad:Wer haftet dafür?
Das interessiert micht jetzt aber auch. Für mich mal wieder völliges Neuland. Wie oder mit was laß mich mir die in der Miniaturansicht gezeigten Bilder ( Crawler ) anzeigen???
Wir sind erst mit der 4.4.4_30554 online gegangen. Dein Post ist vom 08/10 der besagt das es ein update der robots.txt geben wird, wie kann es sein, daß dieses wichtige update nicht in der 4.4.4_30554 zu finden ist!!!:mad: Wir sind auf die 4er umgestiegen für teuer Geld weil man uns versichert hat, daß dies keine Probleme macht in Bezug auf goggle und die alten URL´s!!! Und nun??? Wer hilft uns jetzt??? Dies ist für uns eine absolute Katastrophe, wenn uns google nicht bald wieder listet können wir den Laden dicht machen.
gestern abend neu mit Gsite Crawler erstellt und grad eben an WB übermittelt. Habe auch die besagten Zeilen aus der robots.txt entfernt und Gsite Crawler hat auch gleich über 1000 Seiten mehr gefunden.
Aber ich glaube das Kind ist schon in den Brunnen gefallen, durch die robots.txt war der Effekt dahin das die alten URL an google übergeben werden und somit hat google nur neue vorgefunden und uns in den Sandkasten gesetzt oder wie siehst du das?
Dann würde ich das Problem mal im Google-Forum schildern. Da gibt es meistens gute Tipps für solche Dinge. Das nun alles “hinüber” ist, glaube ich eher nicht.
Hallo roland76,
danke für den Tip für das google forum. Bin gespannt was die dazu meinen. Ich hoffe aber auch das es eine Stellungnahme dazu von Seiten Oxid´s gibt. Dies ist kein kleiner Bug sondern ein ganz große Sauerei, ich hoffe Oxid kann mir da auch weiterhelfen, denn die kennen ja Ihre Software besser obwohl ich nach diesem Vorfall nicht mehr ganz davon überzeugt bin.
Der Support war auch mal besser, bei meinen letzten Anfragen hat es immer Wochen gedauert bis man eine Antwort erhielt. Bin gespannt auf mein letztes Ticket wie lange, daß dauert. Habe denen geschildert wenn man SEO URL´s für CMS Seiten vergeben will, welche vom 3er Shop sind und mit oxid.php anfangen diese dann umgeändert werden in oxid-php was den Nutzen komplett zunichte macht.
die Leute im google Forum meinten folgendes wäre ganz wichtig:
Checken ob die alten 3er URLs richtig mit dem HTTP-Status Code 301 auf die neuen umgeschrieben wurden. Höhrt sich toll an hab auch von dem Code schon gehört aber keine Ahnung wie ich das in einem Oxid Shop checken soll? Kannst mir da weiterhelfen?
ok, du hast gemeint dem upgrade package wird eine neue robots.txt beigelegt. Das haben wir damals erhalten beim Kauf der 4er vor einem Jahr. Woher soll ich wissen, daß so ein Fehler in meinem upgrade package ist, aber Ihr hättet es wissen müssen und mir mitteilen oder??? Das bringt mir jetzt alles nichts mehr, ich bin stink sauer und schwer enttäuscht!!! Ich weiss nicht mehr was ich machen soll, unser Umsatz ist zusammengebrochen all die Arbeit über die Jahre fuscht. Wenn das bald nicht in Ordnung kommt stehen wir vor der Pleite.
ich denke zu wissen, dass ich das nicht gesagt habe.
Egal. Jetzt reden wir mal über die Lösung des Problems, oder? Schau bitte, dass, wenn Du von einer 3er auf die 4er gegangen bist:
a) die robots.txt brauchbar (auskommentieren: http://www.oxid-esales.com/en/comment/edit/6808) ist
b) die oxseohistory dir URLs enthält, die Du per 301 loswerden willst.
c) du eine xml hochladen und per google webmaster tools beobachten kannst.