Du kannst diese zwei Zeilen an den Anfang der Migrationsskripte setzen:
SET @@session.collation_connection = 'utf8_general_ci';
SET @@session.collation_server = 'utf8_general_ci';
Die DB musst du wiederherstellen bevor du die Skripte nochmal ausführst, weil sie wahrscheinlich schon teilweise durchgelaufen sind.
Alternativ kannst du auch die migrations-db.php patchen wie hier beschrieben: Installation OXID eShop 6 bei Profihost, das könnte den Fehler auch beheben, hab ich aber nicht ausprobiert.