Liegt wohl daran dass das Formular nach der Umstellung in UTF-8 ist. Du könntest in oxuser beim Passwort utf8_decode ausführen, so dass beide Versionen funktionieren:
$sPassSelect = " (oxuser.oxpassword = " . $oDb->quote($this->encodePassword($sPassword, $sSalt)).
" OR oxuser.oxpassword = " . $oDb->quote($this->encodePassword(utf8_decode($sPassword), $sSalt)).")";