Fehler bei Bestellungen verwalten

JBlanck · November 1, 2018, 10:52am

Hi,

Wenn ich im admin backend auf
Bestellungen Verwalten -> Bestellungen
klicke liefert er kein Ergebniss mehr

In der Datenbank sehe ich den folgenden query laufen

select count(*) from  `oxorder`
       LEFT JOIN `oxv_oxpayments_de` AS `payments` on `payments`.oxid=oxorder.oxpaymenttype
           LEFT JOIN `oxv_oxpayments_de` AS pluspayments ON pluspayments.oxid = oxorder.oxpaymenttype
           LEFT JOIN payppaypalpluspayment ON payppaypalpluspayment.OXORDERID = oxorder.OXID
           LEFT JOIN payppaypalpluspui ON payppaypalpluspui.OXPAYMENTID = payppaypalpluspayment.OXPAYMENTID
        where 1  and ( oxorder.oxfolder = 'ORDERFOLDER_NEW' )

der verschwindet nach ner Zeit und dann kommt der hier mit dem Status copying to temp table

select `oxorder`.`oxid`, `oxorder`.`oxshopid`, `oxorder`.`oxuserid`, `oxorder`.`oxorderdate`, `oxorder`.`oxordernr`, `oxorder`.`oxbillcompany`, `oxorder`.`oxbillemail`, `oxorder`.`oxbillfname`, `oxorder`.`oxbilllname`, `oxorder`.`oxbillstreet`, `oxorder`.`oxbillstreetnr`, `oxorder`.`oxbilladdinfo`, `oxorder`.`oxbillustid`, `oxorder`.`oxbillcity`, `oxorder`.`oxbillcountryid`, `oxorder`.`oxbillstateid`, `oxorder`.`oxbillzip`, `oxorder`.`oxbillfon`, `oxorder`.`oxbillfax`, `oxorder`.`oxbillsal`, `oxorder`.`oxdelcompany`, `oxorder`.`oxdelfname`, `oxorder`.`oxdellname`, `oxorder`.`oxdelstreet`, `oxorder`.`oxdelstreetnr`, `oxorder`.`oxdeladdinfo`, `oxorder`.`oxdelcity`, `oxorder`.`oxdelcountryid`, `oxorder`.`oxdelstateid`, `oxorder`.`oxdelzip`, `oxorder`.`oxdelfon`, `oxorder`.`oxdelfax`, `oxorder`.`oxdelsal`, `oxorder`.`oxpaymentid`, `oxorder`.`oxpaymenttype`, `oxorder`.`oxtotalnetsum`, `oxorder`.`oxtotalbrutsum`, `oxorder`.`oxtotalordersum`, `oxorder`.`oxartvat1`, `oxorder`.`oxartvatprice1`, `oxorder`.`oxartvat2`, `oxorder`.`oxartvatprice2`, `oxorder`.`oxdelcost`, `oxorder`.`oxdelvat`, `oxorder`.`oxpaycost`, `oxorder`.`oxpayvat`, `oxorder`.`oxwrapcost`, `oxorder`.`oxwrapvat`, `oxorder`.`oxgiftcardcost`, `oxorder`.`oxgiftcardvat`, `oxorder`.`oxcardid`, `oxorder`.`oxcardtext`, `oxorder`.`oxdiscount`, `oxorder`.`oxexport`, `oxorder`.`oxbillnr`, `oxorder`.`oxbilldate`, `oxorder`.`oxtrackcode`, `oxorder`.`oxsenddate`, `oxorder`.`oxremark`, `oxorder`.`oxvoucherdiscount`, `oxorder`.`oxcurrency`, `oxorder`.`oxcurrate`, `oxorder`.`oxfolder`, `oxorder`.`oxtransid`, `oxorder`.`oxpayid`, `oxorder`.`oxxid`, `oxorder`.`oxpaid`, `oxorder`.`oxstorno`, `oxorder`.`oxip`, `oxorder`.`oxtransstatus`, `oxorder`.`oxlang`, `oxorder`.`oxinvoicenr`, `oxorder`.`oxdeltype`, `oxorder`.`oxtsprotectid`, `oxorder`.`oxtsprotectcosts`, `oxorder`.`oxtimestamp`, `oxorder`.`oxisnettomode`, `oxorder`.`ddtransfered`, `oxorder`.`az_3dcheckunavailable`, `oxorder`.`ddcouponsend`, `oxorder`.`ggtransferdate`, `oxorder`.`gg_referer`, `oxorder`.`ggebayorderid`, `oxorder`.`ggebayextendedid`, `oxorder`.`ggebaystatus`, `oxorder`.`ggebayusername`, `oxorder`.`ggrakutenordernr`, `oxorder`.`ggrakutenclientid`, `oxorder`.`ggrakutenstatus`, `oxorder`.`ggyategoordernr`, `oxorder`.`ggrealordernr`, `oxorder`.`ggrealclientid`, `oxorder`.`ggrealstatus`, `oxorder`.`ggallyouneedordernr`, `oxorder`.`ggallyouneedclientid`, `oxorder`.`ggallyouneedstatus`, `oxorder`.`ggpaypalid`, `oxorder`.`ggpaypaldate`, `oxorder`.`ggpaypalstate`, `oxorder`.`ggpaypalmode`, `oxorder`.`ggpaypalmail`, `oxorder`.`ggpaypalname`, `oxorder`.`ggpaypalrefundid`, `oxorder`.`ggpaypalrefunddate`, `oxorder`.`ggpaypalrefundstate`, `oxorder`.`ggpaypalrefundmode`, `oxorder`.`ggpaypalrefundmail`, `oxorder`.`ggpaypalrefundname` , pluspayments.oxdesc AS payments_oxdesc, payppaypalpluspui.oxid AS payppaypalpluspui_oxid , `payments`.`oxdesc` as `paymentname` from `oxorder`
       LEFT JOIN `oxv_oxpayments_de` AS `payments` on `payments`.oxid=oxorder.oxpaymenttype
           LEFT JOIN `oxv_oxpayments_de` AS pluspayments ON pluspayments.oxid = oxorder.oxpaymenttype
           LEFT JOIN payppaypalpluspayment ON payppaypalpluspayment.OXORDERID = oxorder.OXID
           LEFT JOIN payppaypalpluspui ON payppaypalpluspui.OXPAYMENTID = payppaypalpluspayment.OXPAYMENTID
        where 1  and ( oxorder.oxfolder = 'ORDERFOLDER_NEW' ) order by `oxorder`.`oxorderdate` desc  LIMIT 9 OFFSET 0

der Steht dann ein paar minuten im mySQL

Nach ca 5 min bekomme ich im Backend folgenden Fehler

# Proxy Error

The proxy server received an invalid response from an upstream server.
The proxy server could not handle the request *[GET /admin/index.php](https://www.my.com/admin/index.php)* .

Reason: **Error reading from remote server**

Der query selbst läuft aber weiter. ein paar min. später fliege ich dann aus dem admin backend raus und der query scheint dann gestoppt zu sein.

vanilla_thunder · November 1, 2018, 11:09am

wurde der Shop dort, wo er jetzt ist, ursprünglich installiert, oder wurde die Datenbank ggf. irgendwoher kopiert / importiert?

JBlanck · November 1, 2018, 12:50pm

ja die wurde mal kopiert(nicht bie mir), das ist aber schon wieder ein paar monate her, vor der Einschaltung des OEPaypal moduls ging dieser Bereich im Backend noch

vanilla_thunder · November 1, 2018, 2:06pm

Unter Umständen fehlen dort Indizies in der Datenbank, was sich durch die joins mit Paypal Tabellen sehr bemerkbar macht

JBlanck · November 2, 2018, 8:00am

indizes sind gesetzt. Problem scheint dieser join zu sein.

select count(*) from  `oxorder`

           LEFT JOIN payppaypalpluspayment ON payppaypalpluspayment.OXORDERID = oxorder.OXID

JBlanck · November 6, 2018, 8:21am

Verstehe ich nicht ganz! Habe mit unserem hoster alles mögliche angepasst. buffer sizes, timouts hoch gesetzt, sogar den ram erhöht.
Der braucht immer noch extremst lange und das backend timed immer noch aus

JBlanck · November 8, 2018, 12:39pm

Ich habe jetzt folgendes ausgeführt.
Damit ist das Problem nicht behoben, aber das webinterface timed nicht mehr aus, braucht aber halt immer noch eine Minute beim aufrufen und jedem weiteren blättern…

Index gesetzt

oxorder.OXPAYMENTTYPE
oxorder.oxfolder
payppaypalpluspui.OXPAYMENTID
payppaypalpluspayment.OXPAYMENTID;

Query ausgeführt:

`UPDATE oxorder
SET oxfolder = 'ORDERFOLDER_FINISHED'
WHERE OXORDERDATE <= DATE_ADD(NOW(), INTERVAL -60 DAY)
order by oxorderdate DESC`

maexware_Stefan · November 8, 2018, 1:49pm

Hi,

mal ne doofe Frage, du sagt das verschieben von X Bestellungen in einen anderen oxfolder hat das Backend beschleunigt. Jetzt Frage ich mich a) wieviele waren das und b) wieviele sind noch übrig.

Und was für ein Hosting bzw. welche MySQL Version verwendest du?

Manchmal sind es auch die einfachen Fragen die die Erleuchtung bringen

Gruss Stefan

JBlanck · November 8, 2018, 2:25pm

das sollte ja glaube ich nicht relvant sein
es waren 150k
es sind noch überig ~20k

Das Problem hat vorher nicht bestanden, erst mit der Aktivierung des oe\paypal modules
da der Join auf payppaypalpluspayment, welcher so probleme bereitet zu dem modul payp\paypalplus gehört, vermute ich mal, dass die Beiden module sich nicht mögen, bzw oe\paypal irgend was überschreibt/überlagert. wobei das natürlich keine auswirkungen auf die ausführzeit haben sollte.

Server version: 10.1.26-MariaDB-0+deb9u1 - Debian 9.1

Zudem geht der erste join, welcher über die Tabelle oxv_oxpayments_de geht ja auch über den selben Datensatz und der ist nach einer sekunde fertig worauf hingegen der select count(*) join über payppaypalpluspayment 200sek und nach der index hinzufügung 177sek braucht.

Habe hier noch ein wenig ausführlicher die Ausführzeiten und die Explains aufgelisted.
Die Explain dieses queries kommt mir auch komisch vor. das jeweils vor und nach der hinzufügung der indexes

maexware_Stefan · November 8, 2018, 2:47pm

Hi,

ich habe mir die Infos auf SO angesehen, das hat mich an ein ähnliches Problem erinnert was wir mal bei einem Hoster hatten auch mit MariaDB. Dort ist der Buffer für InnoDB falsch konfiguriert gewesen, was dazu führte das alle SQL´s die über mehrere Tabellen gingen sehr langsam waren. Eventuell hilft dir das weiter.

Gruss Stefan

patchwork.de · November 8, 2018, 3:02pm

sind die Indices für die joins alle vorhanden? Und sind die views aktualisiert worden?

JBlanck · November 8, 2018, 3:16pm

ja, die habe ich noch einmal alle extra neu gesetzt. Siehe
lange brauchen tut nur der hier

LEFT JOIN payppaypalpluspayment ON payppaypalpluspayment.OXORDERID = oxorder.OXID

patchwork.de · November 8, 2018, 3:38pm

meine Vermutung war dass (min.) der Index UNIQUE KEY OXORDERID (OXORDERID) in der Tabelle payppaypalpluspayment nicht vorhanden ist

patchwork.de · November 8, 2018, 4:24pm

in einer DB bei uns dauert die Abfrage 0,3 sec. Allerdings sind dort nur ca 20k Bestellungen und aktuell nur ca. 30 neue (‘OXORDERFOLDER_NEW’)
Wenn bei Dir aber in 60 Tagen 20K Bestellungen eingehen liegt hier ein grundsätzliches Problem vor. Und dann können die queries schon lange dauern.

JBlanck · November 9, 2018, 7:56am

das ding ist ja, das ich vor 2 wochen die Selben Bestellungszahlen hatte. Und da ging das noch genau so schnell wie bei dir

patchwork.de · November 9, 2018, 8:27am

werden die Bestellungen mit einem WaWi/ERP abgearbeitet?
wird der Bestellungstatus in die Oxid-DB zurückgeschrieben?

JBlanck · November 9, 2018, 8:34am

Die werden von einer Eigenentwicklung an eine WaWi weitergeleitet. Wenn du mit Bestellstatus das Feld oxfolder meinst, so wird das nachträglich nach erfolgreicher Abholung nicht mehr geupdated.

patchwork.de · November 9, 2018, 8:49am

ja - oxfolder meinte ich
der Bestellungstatus sollte auf jeden Fall zB mit einem cronjob zurückgeschrieben werden -
ua sieht das auch für den Kunden auf der Kontoseite besser aus …
Und da die Bestellungen ja nach wenigen Tagen nicht mehr den Status OXORDERFOLDER_NEW haben läuft die query auch wieder deutlich schneller

JBlanck · November 15, 2018, 8:39am

Abändern der “Column” “collations” von “latin_1_general_ci” zu “utf8_general_ci” hat die Ausführzeit von 175 sec. auf 0.1208 sec. runter gebracht.