Warum ist es nicht möglich mit regex zu Parsen von HTML - /XML: eine formale Erklärung in einfachen Worten

Die Tatsache, dass der HTML nicht darstellen, eine reguläre Sprache ist ein Roter Hering. Reguläre Ausdrücke und reguläre Sprachen Klang irgendwie ähnlich, aber nicht - Sie teilen die gleiche Herkunft, aber es gibt eine Bemerkenswerte Distanz zwischen der akademischen "reguläre Sprachen" und das aktuelle matching-power-Motoren. In der Tat, fast alle modernen regelmäßige Ausdruck-Motoren die Unterstützung von nicht-regulären Funktionen - ein einfaches Beispiel ist (.*)\1. die verwendet für rückreferenzierung zu entsprechen, eine wiederholte Folge von Zeichen, beispielsweise 123123 oder bonbon. Matching von rekursiven/symmetrische Strukturen machen diese noch mehr Spaß.

Wikipedia setzt diese schön in einem Zitat von Larry Wall:

'Reguläre Ausdrücke' [...] sind nur marginal im Zusammenhang mit real-reguläre Ausdrücke. Dennoch, der Begriff hat sich mit der Leistungsfähigkeit unserer pattern-matching-engines, so bin ich nicht versuchen werde zu kämpfen sprachliche Notwendigkeit hier. Ich werde, jedoch, im Allgemeinen, Sie rufen "regexes" (oder "regexen", wenn ich in einer angelsächsischen Stimmung).

"Regulären Ausdruck können nur reguläre Sprachen", wie Sie sehen können, ist nichts anderes als eine allgemein angegeben Trugschluss.

So, warum dann nicht?

Einen guten Grund, nicht zu entsprechen, HTML mit regulären Ausdrücken ist, dass "nur weil Sie können bedeutet nicht, Sie sollten". Zwar kann möglich sein, - es gibt einfach bessere tools für den job. In Erwägung:

• Gültiger HTML-Code ist schwieriger/komplexer als Sie vielleicht denken.
• Es gibt viele Arten von "guten" HTML - was ist gültig in HTML, zum Beispiel, ist nicht gültig in XHTML.
• Viel von dem free-form-HTML-im internet gefunden wird nicht gültig eh. HTML-Bibliotheken machen einen guten job für den Umgang mit diesen als gut, und wurden getestet viele von diesen gemeinsamen Fällen.

• Sehr oft ist es unmöglich, einen Teil der Daten ohne Analyse als ganzes. Zum Beispiel, Sie könnten auf der Suche nach allen Titeln, und am Ende matching in einem Kommentar oder ein string-literal. <h1>.*?</h1> werden können, einen kühnen Versuch zu finden, die wichtigsten Titel, sondern es finden könnte:

  <!-- <h1>not the title!</h1> -->

  Oder auch:

  <script>
  var s = "Certainly <h1>not the title!</h1>";
  </script>

Letzte Punkt ist der wichtigste:

• Die Verwendung eines dedizierten HTML-parser ist besser als jede regex die Sie mit oben kommen kann. Sehr oft, XPath ermöglicht eine bessere expressive Art und Weise zu finden, die Daten, die Sie brauchen, und mit einem HTML-parser ist viel einfacher als die meisten Menschen erkennen.

Einen guten überblick über das Thema und ein wichtiger Kommentar auf beim mischen von Regex und HTML geeignet sein könnten, finden sich in Jeff Atwood ' s blog: Parsen Von Html Die Cthulhu-Weg.

Wann ist es besser, einen regulären Ausdruck zu verwenden, zu analysieren HTML?

In den meisten Fällen ist es besser, auf XPath auf die DOM-Struktur einer Bibliothek geben kann. Noch, gegen der landläufigen Meinung, es gibt wenige Fälle, in denen würde ich dringend empfehlen, mit einem regex und nicht eine parser-Bibliothek:

Einige dieser Bedingungen:

• Wenn Sie eine einmalige Aktualisierung Ihrer HTML-Dateien, und Sie kennen die Struktur konsistent ist.
• Wenn Sie ein sehr kleines snippet von HTML-Code.
• Wenn Sie nicht den Umgang mit einer HTML-Datei, aber eine ähnliche Template-engine (es kann sehr schwer zu finden, einen parser in diesem Fall).
• Wenn Sie ändern möchten, Teile des HTML, aber nicht alles - ein parser, meines Wissens nach, nicht beantworten kann diese Anforderung: es analysiert das gesamte Dokument, und speichern Sie ein ganzes Dokument, ändern Teile, die Sie nie ändern wollte.

InformationsquelleAutor Kobi

Einer regulären Sprache ist eine Sprache, die angepasst werden kann durch eine finite-state-Maschine.

(Verständnis Endlicher Automaten, pushdown-Automaten und Turing-Maschinen ist grundsätzlich der Lehrplan des vierten Jahr college-CS Natürlich.)

Betrachten die folgende Maschine, die erkennt die Zeichenfolge "Hallo".

(Start) --Read h-->(A)--Read i-->(Succeed)
  \                  \
   \                  -- read any other value-->(Fail) 
    -- read any other value-->(Fail)

Dies ist eine einfache Maschine zu erkennen, eine reguläre Sprache; Jeder Ausdruck in der Klammer ist ein Staat, und jeder Pfeil ist ein übergang. Bau einer Maschine, wie dies ermöglicht es Ihnen zu testen, die Eingabe-string gegen einen regulären Sprache -- also einem regulären Ausdruck.

HTML erfordert, dass Sie mehr wissen als nur das, was Zustand Sie sich befinden-es erfordert eine Geschichte von dem, was Sie gesehen haben, entsprechen Verschachtelung der Tags. Dies können Sie erreichen, wenn Sie einen Stapel in die Maschine, aber dann ist es nicht mehr "regulär". Dies wird als Push-down-Maschine und erkennt eine Grammatik.

InformationsquelleAutor Sean McMillan

Eine Grammatik ist eine formale definition, wo Worte gehen kann. Zum Beispiel, die Adjektive preceed Substantive in English grammar ab, sondern Folgen Sie Substantive en la gramática española.
Kontext-frei bedeutet, dass die grammer universell in allen Kontexten. Kontextsensitiv bedeutet, es gibt zusätzliche Regeln, die in bestimmten Kontexten.

In C#, zum Beispiel using bedeutet etwas anderes in using System; an der Spitze von Dateien, als using (var sw = new StringWriter (...)). Eine relevantere Beispiel ist der folgende code in code:

void Start ()
{
    string myCode = @"
    void Start()
    {
       Console.WriteLine (""x"");
    }
    ";
}

InformationsquelleAutor agent-j

In einem rein theoretischen Sinn, es ist unmöglich, reguläre Ausdrücke zum Parsen von XML. Sie sind definiert in einer Weise, die Ihnen nicht die Erinnerung an alle früheren Zustand, so dass die korrekte Abstimmung von einem beliebigen tag, und Sie dringen kann zu einer beliebigen Tiefe der Schachtelung, da die Verschachtelung müssten gebaut werden, die in dem regulären Ausdruck.

Modernen regex-Parser, allerdings sind gebaut nach Ihrer Nützlichkeit für den Entwickler eher als die Einhaltung einer genauen definition. Als solche haben wir Dinge wie back-Referenzen und Rekursion, das wissen von den vorherigen Zuständen. Mit diesen ist es bemerkenswert einfach zu erstellen eines regex, erkunden, überprüfen oder analysieren von XML.

Denken Sie zum Beispiel an,

(?:
    <!\-\-[\S\s]*?\-\->
    |
    <([\w\-\.]+)[^>]*?
    (?:
        \/>
        |
        >
        (?:
            [^<]
            |
            (?R)
        )*
        <\/\1>
    )
)

Diese finden das nächste richtig formatiertes XML-tag oder Kommentar, und es wird nur finden, wenn es den gesamten Inhalt korrekt geformt sind. (Dieser Ausdruck wurde getestet mit Notepad++, die verwendet Boost C++'s regex-Bibliothek, die sehr nahe PCRE.)

Hier ist, wie es funktioniert:

1. Das erste Stück entspricht einen Kommentar. Es ist notwendig, für diese für uns zunächst so, dass es Probleme mit der auskommentierten code, der sonst möglicherweise hängen ups.
2. Wenn das nicht passen, es wird sich für den Anfang eines Tags. Beachten Sie, dass es verwendet Klammern zur Erfassung der Namen.
3. Dieser tag wird entweder am Ende in einem />, womit sich der tag, oder es wird am Ende mit einem >, in welchem Fall es wird weiter durch die Untersuchung der tag-Inhalt.
4. Es wird weiter analysieren, bis es erreicht eine <, an welcher Stelle es recurse zurück an den Anfang des Ausdrucks, die es ermöglicht, befassen sich mit entweder einen Kommentar oder einen neuen tag.
5. Es weiter durch die Schleife, bis es ankommt, bei der entweder das Ende des Textes oder an einem <, die es nicht analysieren kann. Andernfalls passen wird, natürlich, weil es um den Prozess zu starten über. Ansonsten, die < ist vermutlich der Anfang des schließenden Tags für diese iteration. Mit der back-Referenz innerhalb einem schließenden tag <\/\1> es wird mit dem öffnenden tag für die aktuelle iteration (Tiefe). Es gibt nur eine capturing group, also dieser Spiel ist ein einfache Sache. Dies macht Sie unabhängig von den Namen der tags verwendet, obwohl Sie könnte ändern Sie die Aufnahme-Gruppe zu erfassen, nur bestimmte tags, wenn Sie Sie benötigen.
6. An diesem Punkt wird es entweder kick aus der aktuellen Rekursion, bis auf die nächste Stufe oder das Ende mit einem Streichholz.

Diesem Beispiel löst die Probleme im Umgang mit whitespace oder die Identifikation von relevanten Inhalten durch die Verwendung von Zeichen-Gruppen, die nur negieren < oder > oder, im Falle der Kommentare, durch die Verwendung [\S\s], die passt auf alles, einschließlich Wagenrücklauf und neue Linien, auch im single-line Modus fortsetzen, bis es erreicht eine
-->. Daher, es ist einfach, behandelt alles als gültig, bis Sie etwas sinnvolles.

Für die meisten Zwecke ein regex wie dieser ist nicht besonders hilfreich. Es wird überprüft, ob das XML korrekt gebildet, aber es wird wirklich tun und es nicht Konto für die Eigenschaften (obwohl dies wäre eine einfache addition). Es ist nur das einfach, weil Sie die Blätter aus der realen Welt Themen wie diese, wie auch Definitionen der tag-Namen. Einbau ist für eine echte Anwendung würde es viel mehr von einem Tier. Im Allgemeinen, ein echter XML-parser wäre, weit überlegen. Dieser ist wahrscheinlich am besten geeignet für den Unterricht, wie Rekursion funktioniert.

Lange Geschichte kurz: mit einem XML-parser für echte Arbeit, und verwenden Sie diese, wenn Sie wollen, zu spielen, um mit regexes.

InformationsquelleAutor bükWyrm