Ist Regex zu langsam? Beispiele aus dem wirklichen Leben, in denen einfache Nicht-Regex-Alternativen besser sind

Experimentierte ich ein wenig mit der Leistung der verschiedenen Konstrukte, und leider habe ich entdeckt, dass Java regex nicht, was ich als sehr machbar Optimierungen.

Java-regex nimmt O(N) passend "(?s)^.*+$"

Dies ist sehr enttäuschend. Es ist verständlich für ".*" zu nehmen O(N)aber mit der Optimierung "Hinweise" in form von Anker (^ und $) und single-line-Modus Pattern.DOTALL/(?s) sogar die Wiederholung besitzergreifend (d.h. ohne backtracking), die regex-engine immer noch nicht sehen konnte, dass dieses Spiel jede saite, und immer noch Spiel in O(N).

Dieses Muster ist nicht sehr nützlich, natürlich, aber überlege das nächste problem.

Java-regex nimmt O(N) passend "(?s)^A.*Z$"

Wieder, ich hatte gehofft, dass die regex-engine kann sehen, dass Dank der Anker-und single-line Modus, dies ist im wesentlichen der gleiche wie der O(1) nicht-regex:

 s.startsWith("A") && s.endsWith("Z")

Leider, Nein, das ist noch O(N). Sehr enttäuschend. Noch, nicht sehr überzeugend, weil eine schöne und einfache, nicht-regex-alternative vorhanden ist.

Java-regex nimmt O(N) passend "(?s)^.*[aeiou]{3}$"

Diesem Muster entspricht, strings, enden mit 3 kleingeschriebene Vokale. Es ist keine schöne und einfache, nicht-regex-alternative, aber Sie können noch etwas schreiben, was nicht-regex entspricht dies in O(1)da Sie müssen nur überprüfen Sie die letzten 3 Zeichen (der Einfachheit halber können wir annehmen, dass die Länge der Zeichenfolge ist mindestens 3).

Ich habe auch versucht "(?s)^.*$(?<=[aeiou]{3})"in einem Versuch zu sagen, die regex-engine einfach zu ignorieren alles andere, und überprüfen Sie die letzten 3 Zeichen, aber das ist natürlich noch O(N) (das folgt aus dem ersten Abschnitt oben).

In diesem speziellen Szenario, aber regex kann nützlich durch die Kombination mit substring. Das ist, statt zu sehen, wenn der ganze string dem Muster entspricht, können Sie manuell einschränken, das Muster zu versuchen, zu entsprechen, nur die letzten 3 Zeichen substring. Im Allgemeinen, wenn Sie wissen, bevor die hand, dass das Muster hat eine endliche Länge maximal passen, können Sie substring die notwendige Anzahl von Zeichen vom Ende einer sehr langen string und regex nur auf diesen Teil.

Testumgebung

static void testAnchors() {
    String pattern = "(?s)^.*[aeiou]{3}$";
    for (int N = 1; N < 20; N++) {
        String needle = stringLength(1 << N) + "ooo";
        System.out.println(N);
        boolean b = true;
        for (int REPS = 10000; REPS --> 0; ) {
            b &= 
              needle
              //.substring(needle.length() - 3) //try with this
              .matches(pattern);
        }
        System.out.println(b);
    }
}

Die Länge der Zeichenfolge in diesem test wächst exponentiell. Wenn Sie diesen test ausführen, werden Sie feststellen, dass es beginnt langsam richtig zu sich nach 10 (d.h. string-Länge 1024). Wenn Sie die Auskommentierung der substring Linie, jedoch der gesamte test wird komplett in kürzester Zeit (was auch bestätigt, dass das problem nicht weil ich nicht Pattern.compiledas ergäbe eine Konstante Verbesserung im besten, aber eher, weil die patttern nimmt O(N) passen, was problematisch ist, wenn die asymptotische Wachstum von N ist exponentiell).

Fazit

Scheint es, dass Java-regex-tut wenig, um keine Optimierung auf der Grundlage der Muster. Suffix-matching im besonderen ist besonders aufwendig, denn die regex muss noch gehen Sie durch die gesamte Länge der Zeichenfolge.

Zum Glück tun die regex auf die gehackte suffix mit substring (wenn Sie wissen, dass die maximale Länge der übereinstimmung) kann immer noch erlauben, Sie zu verwenden, regex für suffix-matching in Zeit unabhängig von der Länge der Eingabe-Zeichenkette.

//update: eigentlich habe ich nur realisiert, dass dies für Präfix-Abgleich zu. Java-regex-matches ein O(1) Länge Präfix-Muster in O(N). Das ist "(?s)^[aeiou]{3}.*$" prüft, ob ein string beginnt mit 3 Kleinbuchstaben in O(N) sein, wenn es optimierbare zu O(1).

Dachte ich präfixvergleich wäre mehr regex-freundlich, aber ich glaube nicht, dass es möglich ist zu kommen mit einer O(1)-runtime-Muster, das auf die oben (es sei denn jemand kann beweisen, mich nicht falsch).

Natürlich können Sie die s.substring(0, 3).matches("(?s)^[aeiou]{3}.*$") "trick", aber das Muster selbst ist noch O(N); Sie haben gerade manuell reduziert N auf eine Konstante durch die Verwendung substring.

Also für jede Art von finite-length prefix - /suffix-matching für ein wirklich langer string, sollten Sie Vorverarbeiten mit substring vor der Verwendung von regex; sonst ist es O(N) wo O(1) genügt.

InformationsquelleAutor der Antwort polygenelubricants

In meinen tests habe ich Folgendes gefunden:

In der java-String.split-Methode (mit regex) nahm 2176ms unter der 1.000.000 Iterationen.
Mit dieser benutzerdefinierten split-Methode nahm 43ms unter der 1.000.000 Iterationen.

Natürlich, es wird nur funktionieren, wenn Ihre "regex" ist ganz wörtlich, aber in jenen Fällen,
es wird viel schneller sein.

List<String> array = new ArrayList<String>();
String split = "ab";
String string = "aaabaaabaa";
int sp = 0;
for(int i = 0; i < string.length() - split.length(); i++){              
    if(string.substring(i, i + split.length()).equals(split)){
        //Split point found
        array.add(string.substring(sp, i));
        sp = i + split.length();
        i += split.length();
    }
}
if(sp != 0){
    array.add(string.substring(sp, string.length()));
}
return array;

Also um deine Frage zu beantworten, ist es theoretisch schneller? Ja, absolut, mein Algorithmus ist O(n), wobei n die Länge des Strings zu splitten. (Ich bin mir nicht sicher, was regex wäre). Ist es praktisch schneller? Gut, über 1 Millionen Iterationen, Sparte ich im Grunde 2 Sekunden. Also, es hängt von Ihren Bedürfnissen, ich denke, aber ich würde nicht zu viel sorgen über das Zurückportieren alle code, regex verwendet, um nicht-regex-Versionen, und in der Tat, dass es notwendig werden könnte, sowieso, wenn das Muster ist sehr Komplex, eine wörtliche split wie diese nicht funktionieren. Allerdings, wenn Sie Spalten sich auf, sagen wir mal, Kommas, diese Methode führt viel besser, obwohl "viel besser" ist subjektiv hier.

InformationsquelleAutor der Antwort LadyCailin